Файл robots.txt

[Sadorimatsu]

liner, если вам нравится одно и тоже по заголовку и мета-описания на теги и прочий хлам, то пожалуйста, мне такое неприемлемо. Основное внимание в моём случае должно быть к темам и прямым страницам ресурсов, остальное не нужный мусор. Про плагин знаю, пробовал, не оправдал ожиданий. Потому что проблема не тока в тегах.

 

[liner]

если вам нравится одно и тоже по заголовку и мета-описания на теги и прочий хлам, то пожалуйста

я просто скрин не стал делать полный. Заголовок один, описание совсем другое с вкраплениями ключевых слов по тематике.

 

[liner]

Потому что проблема не тока в тегах.

ну по логике яндекса страница тэга является посадочной, и ведет на другие страницы по тематике. В чем могут быть грабли?

 

[Sadorimatsu]

я просто скрин не стал делать полный. Заголовок один, описание совсем другое с вкраплениями ключевых слов по тематике.

Хотите сказать, что на каждый вывод тега у вас заголовок общий, но мета-описание разное согласно тегу? Само генерирует или же вручную? Потому что на общие страницы прописывается вручную. Учитывая, что сам по себе тег имеет тока название и ссылку на фильтрацию его упоминаний. Иных назначений из коробки нет. Если у вас плагин иного рода, то не могу знать. Но выводить мусор поиска от тегов, не очень удачная мысль, но если вам это нужно, то почему нет. Потому, тут зависит от ваших задач.

 

[Sadorimatsu]

ну по логике яндекса страница тэга является посадочной, и ведет на другие страницы по тематике. В чем могут быть грабли?

Грабли как раз в дублях заголовков и описаний к ним, помимо тегов есть страницы обновлений ресурсов, истории, рекомендованные и прочие страницы имеющие общий вид мета данных. Сомневаюсь, что у вас на каждый прописано что, если тока их просто не блокировали от индексации. Спорить на эту тему не вижу смысла, каждый волен открывать и блочить, что ему нравится, вопрос уже в эффективности к индексации и чистоте на выдаче.

 

[liner]

Хотите сказать, что на каждый вывод тега у вас заголовок общий, но мета-описание разное согласно тегу?

нет, конечно. Есть тег "компрессор кондиционера", он присвоен 100500 тем. Ему отдельное описание вручную, конечно.
Есть тег, скажем, "подогрев сиденья", у него свое описание.
И так дальше иду, убиваю хлам, сохраняю внятное, описываю, отправляю на переобход

 

[Sadorimatsu]

нет, конечно. Есть тэг "компрессор кондиционера", он присвоен 100500 тем. Ему отдельное описание вручную, конечно.

из коробки такое решение не предусмотрено, озвучьте плагин, который решал бы эту проблему, если на заказ, то что толку поднимать тему?)

 

[Sadorimatsu]

И так дальше иду, убиваю хлам, сохраняю внятное, описываю, отправляю на переобход

Т.е. у вас основной уклон контента на теги и вы не плодите лишние теги и прописываете мета к тем, что вам нужно. В этом случае да, есть смысл теги не закрывать, тут я с вами соглашусь, но когда такой возможности нет, то лучше закрывать. Я знаю лишь SEO плагин, который позволяет прописать мета на общие страницы, но он не решает вопрос мета на страницах всех ресурсов и тегов в том числе, а тока на общих, тем самым плагин выкинул от своей бесполезности и решил проблему на уровне правил индексации и на моё удивление всё работает как надо, да не так эффективно, но зато чистота выдачи обеспечена. У меня основной приоритет индексации это XFRM в полном объёме на сколько возможно и базово. Так что, тут зависит от приоритета, что кому нужно.

 

[liner]

из коробки такое решение не предусмотрено, озвучьте плагин, который решал бы эту проблему, если на заказ, то что толку поднимать тему?)

Atikin плагин ATagDescription.
Не на заказ, просто их студия это написала. Вполне себе рабочее решение.

 

[Sadorimatsu]

плагин ATagDescription.

В доступе не вижу, следовательно индивидуально вы им можете пользоваться, как и может закрытый круг лиц. Так что странно поднимать ваш вопрос о надобности тегов, когда речь тут про возможности из коробки и доступных плагинов.
По демонстрации да, полезный функционал, правда сильной необходимости не вижу.

 

[liner]

Т.е. у вас основной уклон контента на теги и вы не плодите лишние теги и прописываете мета к тем, что вам нужно.

ну прям не основной уклон, а вторичный. Первично все равно индексируется какая-то популярная тема.

 

[liner]

В доступе не вижу, следовательно индивидуальный вы им можете пользоваться, как и может закрытый круг лиц. Так что странно поднимать ваш вопрос о надобности тегов, когда речь тут про возможности из коробки и доступных плагинов.

Я не из тех соображений, что "вот у меня есть". Речь о принципиальности "закрыть теги / использовать теги".
Использовать однозначно, просто требует немного других инструментов.
Но суть претензии понял, да, наверное "из коробки" лучше закрывать", яндекс навалил кучу негатива, что у /tag/ нет описаний. Пришлось бороться.
Конечно, когда "у Дарт Вейдера в столе всякого навалено" (С) толку от этого...

 

[Sadorimatsu]

Например, я сейчас решил поиграться со своими настройками индексации и проверяю такой шаблон подачи, интересно, что выдаст. В этот раз уделил особое внимание к вредным ботам и оптимизации обработки и удалением лишних дублей там, где это не нужно.

User-agent: *
Disallow: /admin.php
Disallow: /account/
Disallow: /attachments/
Disallow: /search/
Disallow: /lfs/
Disallow: /goto/
Disallow: /misc/
Disallow: /birthdays/
Disallow: /tags/
Disallow: /threads/*/reply
Disallow: /*/about
Disallow: /*/unread
Disallow: /*/latest
Disallow: /threads/*/who-replied/
Disallow: /conversations/
Disallow: /lost-password/
Disallow: /online/
Disallow: /misc/style?*
Disallow: /cdn-cgi/
Disallow: /*/page-*
Disallow: /*?
Sitemap: https://ДОМЕН/sitemap.xml

User-agent: Yandex
Clean-param: content&user_id&prefix_id&desc&page&download_count&direction&reject&accept&update&_debug&direction&order&tab_id
Disallow: /whats-new/
Disallow: /members/
Disallow: /resources/categories/*/featured
Disallow: /resources/*/update/*/reactions
Disallow: /resources/*/updates
Disallow: /resources/*/reviews
Disallow: /resources/*/history
Disallow: /resources/authors/*/
Disallow: /help/
Disallow: /login/
Disallow: /register/

User-agent: YandexNews
Allow: /forums/-/index.rss

User-agent: Googlebot-News
Allow: /forums/-/index.rss

User-agent: Mail.Ru
Crawl-delay: 2

User-agent: StackRambler
Crawl-delay: 2

User-agent: Baiduspider
Crawl-delay: 5

User-agent: YaCy
Crawl-delay: 10

User-agent: Phind
Crawl-delay: 3

User-agent: Wolfram
Crawl-delay: 5

User-agent: Waldo
Crawl-delay: 2

User-agent: Ask
Crawl-delay: 2

User-agent: bingbot
Crawl-delay: 2

User-agent: DuckDuckBot
Crawl-delay: 1

User-agent: Slurp
Crawl-delay: 2

User-agent: Yeti
Crawl-delay: 3

User-agent: Applebot
Crawl-delay: 1

User-agent: StartPage
Crawl-delay: 2

User-agent: PerplexityBot
Crawl-delay: 3

User-agent: YouBot
Crawl-delay: 2

User-agent: FindSounds
Crawl-delay: 2

User-agent: TinEye
Crawl-delay: 3

User-agent: Mediapartners-Google
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: trendictionbot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: MegaIndex
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: OAI-Embedder
Disallow: /

User-agent: OAI-SearchCrawler
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: MJ12bot
Crawl-delay: 10
Disallow: /

User-agent: AhrefsBot
Crawl-delay: 5
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: adbeat_bot
Disallow: /

User-agent: seobots
Disallow: /

User-agent: spbot
Disallow: /

Шаблон дефолтный, можете себе поставить, если хотите, лишнее от плагинов убрал и поправил те места, где правил для себя.
Сразу предупреждаю, у меня пока XF 2.2, но думаю хорошо и на 2.3 будет.
Этот вариант ничем не хуже того, что писал ранее тут. Но отличие в том, что он чище, оптимизирован и расширен на блок вредных ботов. Будет ли лучше, не знаю, сам проверяю, но отпишусь, как будут интересные результаты или наоборот.
Прописывать Crawl-delay: лишь пробую, мол указывается задержка некоторая, хз будет ли толк, проверяю. Да и гугл вроде как их особо не учитывает, а вот другие могут.

 

[Sadorimatsu]

Расширил список ботов и охват поисковых систем, странно было бы не учесть международные площадки и их ботов. Остается ждать, чем это аукнется.
Конечно, не забываем на вебмастере яндекса и консоли гугла пнуть на проверку robots.txt и вручную ткнуть ему сделать переобход, чтобы ускорить обновление.

 

[Zero-cold]

Я не из тех соображений, что "вот у меня есть". Речь о принципиальности "закрыть теги / использовать теги".
Использовать однозначно, просто требует немного других инструментов.
Но суть претензии понял, да, наверное "из коробки" лучше закрывать", яндекс навалил кучу негатива, что у /tag/ нет описаний. Пришлось бороться.
Конечно, когда "у Дарт Вейдера в столе всякого навалено" (С) толку от этого...
Посмотреть вложение 160301

так у вас - Disallow: /tags/

 

[liner]

так у вас - Disallow: /tags/

Спасибо, вчера под ночь копирнул отсюда пару интересных фрагментов, пропустил.
Поправлю.
Поправил, спасибо!