Файл robots.txt

[Sadorimatsu]

liner, если вам нравится одно и тоже по заголовку и мета-описания на теги и прочий хлам, то пожалуйста, мне такое неприемлемо. Основное внимание в моём случае должно быть к темам и прямым страницам ресурсов, остальное не нужный мусор. Про плагин знаю, пробовал, не оправдал ожиданий. Потому что проблема не тока в тегах.

 

[liner]

если вам нравится одно и тоже по заголовку и мета-описания на теги и прочий хлам, то пожалуйста

я просто скрин не стал делать полный. Заголовок один, описание совсем другое с вкраплениями ключевых слов по тематике.

 

[liner]

Потому что проблема не тока в тегах.

ну по логике яндекса страница тэга является посадочной, и ведет на другие страницы по тематике. В чем могут быть грабли?

 

[Sadorimatsu]

я просто скрин не стал делать полный. Заголовок один, описание совсем другое с вкраплениями ключевых слов по тематике.

Хотите сказать, что на каждый вывод тега у вас заголовок общий, но мета-описание разное согласно тегу? Само генерирует или же вручную? Потому что на общие страницы прописывается вручную. Учитывая, что сам по себе тег имеет тока название и ссылку на фильтрацию его упоминаний. Иных назначений из коробки нет. Если у вас плагин иного рода, то не могу знать. Но выводить мусор поиска от тегов, не очень удачная мысль, но если вам это нужно, то почему нет. Потому, тут зависит от ваших задач.

 

[Sadorimatsu]

ну по логике яндекса страница тэга является посадочной, и ведет на другие страницы по тематике. В чем могут быть грабли?

Грабли как раз в дублях заголовков и описаний к ним, помимо тегов есть страницы обновлений ресурсов, истории, рекомендованные и прочие страницы имеющие общий вид мета данных. Сомневаюсь, что у вас на каждый прописано что, если тока их просто не блокировали от индексации. Спорить на эту тему не вижу смысла, каждый волен открывать и блочить, что ему нравится, вопрос уже в эффективности к индексации и чистоте на выдаче.

 

[liner]

Хотите сказать, что на каждый вывод тега у вас заголовок общий, но мета-описание разное согласно тегу?

нет, конечно. Есть тег "компрессор кондиционера", он присвоен 100500 тем. Ему отдельное описание вручную, конечно.
Есть тег, скажем, "подогрев сиденья", у него свое описание.
И так дальше иду, убиваю хлам, сохраняю внятное, описываю, отправляю на переобход

 

[Sadorimatsu]

нет, конечно. Есть тэг "компрессор кондиционера", он присвоен 100500 тем. Ему отдельное описание вручную, конечно.

из коробки такое решение не предусмотрено, озвучьте плагин, который решал бы эту проблему, если на заказ, то что толку поднимать тему?)

 

[Sadorimatsu]

И так дальше иду, убиваю хлам, сохраняю внятное, описываю, отправляю на переобход

Т.е. у вас основной уклон контента на теги и вы не плодите лишние теги и прописываете мета к тем, что вам нужно. В этом случае да, есть смысл теги не закрывать, тут я с вами соглашусь, но когда такой возможности нет, то лучше закрывать. Я знаю лишь SEO плагин, который позволяет прописать мета на общие страницы, но он не решает вопрос мета на страницах всех ресурсов и тегов в том числе, а тока на общих, тем самым плагин выкинул от своей бесполезности и решил проблему на уровне правил индексации и на моё удивление всё работает как надо, да не так эффективно, но зато чистота выдачи обеспечена. У меня основной приоритет индексации это XFRM в полном объёме на сколько возможно и базово. Так что, тут зависит от приоритета, что кому нужно.

 

[liner]

из коробки такое решение не предусмотрено, озвучьте плагин, который решал бы эту проблему, если на заказ, то что толку поднимать тему?)

Atikin плагин ATagDescription.
Не на заказ, просто их студия это написала. Вполне себе рабочее решение.

 

[Sadorimatsu]

плагин ATagDescription.

В доступе не вижу, следовательно индивидуально вы им можете пользоваться, как и может закрытый круг лиц. Так что странно поднимать ваш вопрос о надобности тегов, когда речь тут про возможности из коробки и доступных плагинов.
По демонстрации да, полезный функционал, правда сильной необходимости не вижу.

 

[liner]

Т.е. у вас основной уклон контента на теги и вы не плодите лишние теги и прописываете мета к тем, что вам нужно.

ну прям не основной уклон, а вторичный. Первично все равно индексируется какая-то популярная тема.

 

[liner]

В доступе не вижу, следовательно индивидуальный вы им можете пользоваться, как и может закрытый круг лиц. Так что странно поднимать ваш вопрос о надобности тегов, когда речь тут про возможности из коробки и доступных плагинов.

Я не из тех соображений, что "вот у меня есть". Речь о принципиальности "закрыть теги / использовать теги".
Использовать однозначно, просто требует немного других инструментов.
Но суть претензии понял, да, наверное "из коробки" лучше закрывать", яндекс навалил кучу негатива, что у /tag/ нет описаний. Пришлось бороться.
Конечно, когда "у Дарт Вейдера в столе всякого навалено" (С) толку от этого...

 

[Sadorimatsu]

Например, я сейчас решил поиграться со своими настройками индексации и проверяю такой шаблон подачи, интересно, что выдаст. В этот раз уделил особое внимание к вредным ботам и оптимизации обработки и удалением лишних дублей там, где это не нужно.

User-agent: *
Disallow: /admin.php
Disallow: /account/
Disallow: /attachments/
Disallow: /search/
Disallow: /lfs/
Disallow: /goto/
Disallow: /misc/
Disallow: /birthdays/
Disallow: /tags/
Disallow: /threads/*/reply
Disallow: /*/about
Disallow: /*/unread
Disallow: /*/latest
Disallow: /threads/*/who-replied/
Disallow: /conversations/
Disallow: /lost-password/
Disallow: /online/
Disallow: /misc/style?*
Disallow: /cdn-cgi/
Disallow: /*/page-*
Disallow: /*?
Sitemap: https://ДОМЕН/sitemap.xml

User-agent: Yandex
Clean-param: content&user_id&prefix_id&desc&page&download_count&direction&reject&accept&update&_debug&direction&order&tab_id
Disallow: /whats-new/
Disallow: /members/
Disallow: /resources/categories/*/featured
Disallow: /resources/*/update/*/reactions
Disallow: /resources/*/updates
Disallow: /resources/*/reviews
Disallow: /resources/*/history
Disallow: /resources/authors/*/
Disallow: /help/
Disallow: /login/
Disallow: /register/

User-agent: YandexNews
Allow: /forums/-/index.rss

User-agent: Googlebot-News
Allow: /forums/-/index.rss

User-agent: Mail.Ru
Crawl-delay: 2

User-agent: StackRambler
Crawl-delay: 2

User-agent: Baiduspider
Crawl-delay: 5

User-agent: YaCy
Crawl-delay: 10

User-agent: Phind
Crawl-delay: 3

User-agent: Wolfram
Crawl-delay: 5

User-agent: Waldo
Crawl-delay: 2

User-agent: Ask
Crawl-delay: 2

User-agent: bingbot
Crawl-delay: 2

User-agent: DuckDuckBot
Crawl-delay: 1

User-agent: Slurp
Crawl-delay: 2

User-agent: Yeti
Crawl-delay: 3

User-agent: Applebot
Crawl-delay: 1

User-agent: StartPage
Crawl-delay: 2

User-agent: PerplexityBot
Crawl-delay: 3

User-agent: YouBot
Crawl-delay: 2

User-agent: FindSounds
Crawl-delay: 2

User-agent: TinEye
Crawl-delay: 3

User-agent: Mediapartners-Google
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: trendictionbot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: MegaIndex
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: OAI-Embedder
Disallow: /

User-agent: OAI-SearchCrawler
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: MJ12bot
Crawl-delay: 10
Disallow: /

User-agent: AhrefsBot
Crawl-delay: 5
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: adbeat_bot
Disallow: /

User-agent: seobots
Disallow: /

User-agent: spbot
Disallow: /

Шаблон дефолтный, можете себе поставить, если хотите, лишнее от плагинов убрал и поправил те места, где правил для себя.
Сразу предупреждаю, у меня пока XF 2.2, но думаю хорошо и на 2.3 будет.
Этот вариант ничем не хуже того, что писал ранее тут. Но отличие в том, что он чище, оптимизирован и расширен на блок вредных ботов. Будет ли лучше, не знаю, сам проверяю, но отпишусь, как будут интересные результаты или наоборот.
Прописывать Crawl-delay: лишь пробую, мол указывается задержка некоторая, хз будет ли толк, проверяю. Да и гугл вроде как их особо не учитывает, а вот другие могут.

 

[Sadorimatsu]

Расширил список ботов и охват поисковых систем, странно было бы не учесть международные площадки и их ботов. Остается ждать, чем это аукнется.
Конечно, не забываем на вебмастере яндекса и консоли гугла пнуть на проверку robots.txt и вручную ткнуть ему сделать переобход, чтобы ускорить обновление.

 

[Zero-cold]

Я не из тех соображений, что "вот у меня есть". Речь о принципиальности "закрыть теги / использовать теги".
Использовать однозначно, просто требует немного других инструментов.
Но суть претензии понял, да, наверное "из коробки" лучше закрывать", яндекс навалил кучу негатива, что у /tag/ нет описаний. Пришлось бороться.
Конечно, когда "у Дарт Вейдера в столе всякого навалено" (С) толку от этого...
Посмотреть вложение 160301

так у вас - Disallow: /tags/

 

[liner]

так у вас - Disallow: /tags/

Спасибо, вчера под ночь копирнул отсюда пару интересных фрагментов, пропустил.
Поправлю.
Поправил, спасибо!

 

[Sadorimatsu]

Изменения я свои вносил с 20 числа и уже за 3 дня вижу, что изменения на обходе какие-то были и не малые, аж на 1.5к новых по обходу, при этом кол-во дублей не изменилось у меня, стало ли лучше, непонятно, узнаю через месяц думаю, потому что гугл в этом плане работает куда дольше яндекса. Но результаты пока интересные на новый шаблон. По крайне мере, ухудшение не вижу. Вероятно наконец близки к идеальному балансу

 

[Zero-cold]

Cloudflare Security Rules — три обязательных правила, которые защищают форум от вредных ботов и сканеров​

Всем привет!
Хочу поделиться полезной информацией для владельцев форумов на XenForo и других CMS, которые используют Cloudflare.

В панели Cloudflare есть раздел:
Security → Security Rules → Create Rule

Ниже — три самых важных кастомных правила, которые можно включить на любом сайте.
Они помогают:
— блокировать вредных SEO-ботов,
— защитить контент от парсеров,
— остановить китайские и байтдансовские сканеры,
— уменьшить нагрузку на сервер,
— улучшить скорость индексации полезными ботами.

Все правила устанавливаются через:
Create rule → Custom rule → Edit expression

========================================

RULE #1 — Block Bad Bots​

Блокирует вредных SEO-роботов, краулеров, «поисковики ссылок» и спамерские сканеры.
Эти боты ничего полезного не приносят, а только воруют контент, нагружают сервер и замедляют индексацию.

Expression:

(
http.user_agent contains "AhrefsBot" or
http.user_agent contains "SemrushBot" or
http.user_agent contains "Semrush" or
http.user_agent contains "MJ12bot" or
http.user_agent contains "SEOkicks" or
http.user_agent contains "BLEXBot" or
http.user_agent contains "Dotbot" or
http.user_agent contains "MegaIndex" or
http.user_agent contains "PetalBot" or
http.user_agent contains "Petalbot" or
http.user_agent contains "Bytespider" or
http.user_agent contains "CCBot" or
http.user_agent contains "Amazonbot" or
http.user_agent contains "coccocbot" or
http.user_agent contains "Sogou" or
http.user_agent contains "Exabot" or
http.user_agent contains "archive.org_bot" or
http.user_agent contains "heritrix" or
http.user_agent contains "magpie-crawler" or
http.user_agent contains "Scrapy" or
http.user_agent contains "Nutch" or
http.user_agent contains "Wget" or
http.user_agent contains "curl" or
http.user_agent contains "HTTrack" or
http.user_agent contains "WebCopier"
)

Action: Block
Placement: Last

========================================

RULE #2 — Block China / ByteDance / Huawei​

Блокирует трафик из китайских автономных систем (AS), включая Huawei, ByteDance, Alibaba и др.
Именно через них чаще всего идут агрессивные сканеры и краулеры.

Expression:

(
ip.geoip.country eq "CN" or
ip.geoip.asnum in { 37963 45102 45090 4808 45104 45101 45062 24138 56046 55990 58563 9394 37958 24400 23724 45061 45143 } or
ip.geoip.asnum in { 45103 45064 45108 56040 38365 4812 4811 4809 45168 45169 } or
http.user_agent contains "Bytespider" or
http.user_agent contains "PetalBot" or
http.user_agent contains "Petalbot" or
http.user_agent contains "Sogou" or
http.user_agent contains "Baiduspider" or
http.user_agent contains "YisouSpider" or
http.user_agent contains "360Spider"
)

Action: Block
Placement: Last

========================================

RULE #3 — Block Scrapers / Site Copiers​

Это защита от парсеров, «воришек контента» и автоматических копировщиков сайтов.
Такие клиенты не используются нормальными людьми и легко определяются по User-Agent.

Expression:

(
http.user_agent eq "" or
http.user_agent contains "curl" or
http.user_agent contains "Wget" or
http.user_agent contains "HTTrack" or
http.user_agent contains "WebCopier" or
http.user_agent contains "SiteSucker" or
http.user_agent contains "Teleport" or
http.user_agent contains "Java" or
http.user_agent contains "python" or
http.user_agent contains "Python" or
http.user_agent contains "urllib" or
http.user_agent contains "aiohttp" or
http.user_agent contains "okhttp" or
http.user_agent contains "Go-http-client" or
http.user_agent contains "Apache-HttpClient" or
http.user_agent contains "libwww-perl" or
http.user_agent contains "PHP" or
http.user_agent contains "httpclient" or
http.user_agent contains "HttpClient"
)

Action: Block
Placement: Last

========================================

Зачем всё это нужно?​

• 1. Меньше нагрузки на сервер — вредные боты до 40% всего трафика.
• 2. Быстрее индексация полезными поисковиками — Googlebot/DuckDuckBot не стоят в очереди.
• 3. Лучше SEO — контент не крадут и не публикуют быстрее, чем оригинал.
• 4. Меньше риска DDoS и сканирования уязвимостей
• 5. Чище лог-файлы — легче анализировать реальный трафик.

========================================

Кому это особенно полезно?​

— владельцам форумов XenForo
— блогам на CMS (WP, IPS, Joomla)
— сайтам с уникальным контентом
— новостным порталам
— ресурсам, которые воруют через парсеры
— сайтам, которые хотят улучшить SEO

========================================

Эти три правила — минимум, который стоит включить каждому сайту.
Они не трогают Google, Bing, ChatGPT, Perplexity и других «добрых» ботов,
но отлично режут всё, что:

— ворует контент
— копирует страницы
— сканирует сайт на уязвимости
— нагружает сервер
— портит SEO

Если у вас Cloudflare — очень рекомендую добавить их.

 

[Sadorimatsu]

Zero-cold, Интересный вариант настройки на CF, тока жаль для РФ уже не воспользуемся.
А так, это какие-то внутренние ограничения на уровне прокси CF?

 

[ФАКЕР]

Sadorimatsu лови всё тоже самое только для твоего .htaccess, так что воспользуетесь))

<IfModule mod_rewrite.c>
RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} "AhrefsBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "SemrushBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Semrush" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "MJ12bot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "SEOkicks" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "BLEXBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Dotbot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "MegaIndex" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "PetalBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Bytespider" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "CCBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Amazonbot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "coccocbot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Sogou" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Exabot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "archive.org_bot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "heritrix" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "magpie-crawler" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Scrapy" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Nutch" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Wget" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "curl" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "HTTrack" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "WebCopier" [NC]

RewriteRule .* - [F,L]
</IfModule>

<IfModule mod_rewrite.c>
RewriteEngine On

RewriteCond %{HTTP_USER_AGENT} "Bytespider" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "PetalBot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Petalbot" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Sogou" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Baiduspider" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "YisouSpider" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "360Spider" [NC]

RewriteRule .* - [F,L]
</IfModule>

Если установлен mod_geoip2:

<IfModule mod_geoip.c>
GeoIPEnable On

SetEnvIf GEOIP_COUNTRY_CODE CN BlockCountry

Order Allow,Deny
Allow from all
Deny from env=BlockCountry
</IfModule>

<IfModule mod_rewrite.c>
RewriteEngine On

# --- БЛОК без User-Agent ---
RewriteCond %{HTTP_USER_AGENT} ^$ [OR]

# --- БОТЫ И ПАРСЕРЫ ---
RewriteCond %{HTTP_USER_AGENT} "curl" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Wget" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "HTTrack" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "WebCopier" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "SiteSucker" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Teleport" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Java" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "python" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "urllib" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "aiohttp" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "okhttp" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Go-http-client" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "Apache-HttpClient" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "libwww-perl" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "PHP" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "httpclient" [NC,OR]
RewriteCond %{HTTP_USER_AGENT} "HttpClient" [NC]

RewriteRule ^.*$ - [F,L]
</IfModule>