Файл robots.txt

[Sadorimatsu]

liner, если вам нравится одно и тоже по заголовку и мета-описания на теги и прочий хлам, то пожалуйста, мне такое неприемлемо. Основное внимание в моём случае должно быть к темам и прямым страницам ресурсов, остальное не нужный мусор. Про плагин знаю, пробовал, не оправдал ожиданий. Потому что проблема не тока в тегах.

 

[liner]

если вам нравится одно и тоже по заголовку и мета-описания на теги и прочий хлам, то пожалуйста

я просто скрин не стал делать полный. Заголовок один, описание совсем другое с вкраплениями ключевых слов по тематике.

 

[liner]

Потому что проблема не тока в тегах.

ну по логике яндекса страница тэга является посадочной, и ведет на другие страницы по тематике. В чем могут быть грабли?

 

[Sadorimatsu]

я просто скрин не стал делать полный. Заголовок один, описание совсем другое с вкраплениями ключевых слов по тематике.

Хотите сказать, что на каждый вывод тега у вас заголовок общий, но мета-описание разное согласно тегу? Само генерирует или же вручную? Потому что на общие страницы прописывается вручную. Учитывая, что сам по себе тег имеет тока название и ссылку на фильтрацию его упоминаний. Иных назначений из коробки нет. Если у вас плагин иного рода, то не могу знать. Но выводить мусор поиска от тегов, не очень удачная мысль, но если вам это нужно, то почему нет. Потому, тут зависит от ваших задач.

 

[Sadorimatsu]

ну по логике яндекса страница тэга является посадочной, и ведет на другие страницы по тематике. В чем могут быть грабли?

Грабли как раз в дублях заголовков и описаний к ним, помимо тегов есть страницы обновлений ресурсов, истории, рекомендованные и прочие страницы имеющие общий вид мета данных. Сомневаюсь, что у вас на каждый прописано что, если тока их просто не блокировали от индексации. Спорить на эту тему не вижу смысла, каждый волен открывать и блочить, что ему нравится, вопрос уже в эффективности к индексации и чистоте на выдаче.

 

[liner]

Хотите сказать, что на каждый вывод тега у вас заголовок общий, но мета-описание разное согласно тегу?

нет, конечно. Есть тег "компрессор кондиционера", он присвоен 100500 тем. Ему отдельное описание вручную, конечно.
Есть тег, скажем, "подогрев сиденья", у него свое описание.
И так дальше иду, убиваю хлам, сохраняю внятное, описываю, отправляю на переобход

 

[Sadorimatsu]

нет, конечно. Есть тэг "компрессор кондиционера", он присвоен 100500 тем. Ему отдельное описание вручную, конечно.

из коробки такое решение не предусмотрено, озвучьте плагин, который решал бы эту проблему, если на заказ, то что толку поднимать тему?)

 

[Sadorimatsu]

И так дальше иду, убиваю хлам, сохраняю внятное, описываю, отправляю на переобход

Т.е. у вас основной уклон контента на теги и вы не плодите лишние теги и прописываете мета к тем, что вам нужно. В этом случае да, есть смысл теги не закрывать, тут я с вами соглашусь, но когда такой возможности нет, то лучше закрывать. Я знаю лишь SEO плагин, который позволяет прописать мета на общие страницы, но он не решает вопрос мета на страницах всех ресурсов и тегов в том числе, а тока на общих, тем самым плагин выкинул от своей бесполезности и решил проблему на уровне правил индексации и на моё удивление всё работает как надо, да не так эффективно, но зато чистота выдачи обеспечена. У меня основной приоритет индексации это XFRM в полном объёме на сколько возможно и базово. Так что, тут зависит от приоритета, что кому нужно.

 

[liner]

из коробки такое решение не предусмотрено, озвучьте плагин, который решал бы эту проблему, если на заказ, то что толку поднимать тему?)

Atikin плагин ATagDescription.
Не на заказ, просто их студия это написала. Вполне себе рабочее решение.

 

[Sadorimatsu]

плагин ATagDescription.

В доступе не вижу, следовательно индивидуально вы им можете пользоваться, как и может закрытый круг лиц. Так что странно поднимать ваш вопрос о надобности тегов, когда речь тут про возможности из коробки и доступных плагинов.
По демонстрации да, полезный функционал, правда сильной необходимости не вижу.

 

[liner]

Т.е. у вас основной уклон контента на теги и вы не плодите лишние теги и прописываете мета к тем, что вам нужно.

ну прям не основной уклон, а вторичный. Первично все равно индексируется какая-то популярная тема.

 

[liner]

В доступе не вижу, следовательно индивидуальный вы им можете пользоваться, как и может закрытый круг лиц. Так что странно поднимать ваш вопрос о надобности тегов, когда речь тут про возможности из коробки и доступных плагинов.

Я не из тех соображений, что "вот у меня есть". Речь о принципиальности "закрыть теги / использовать теги".
Использовать однозначно, просто требует немного других инструментов.
Но суть претензии понял, да, наверное "из коробки" лучше закрывать", яндекс навалил кучу негатива, что у /tag/ нет описаний. Пришлось бороться.
Конечно, когда "у Дарт Вейдера в столе всякого навалено" (С) толку от этого...

 

[Sadorimatsu]

Например, я сейчас решил поиграться со своими настройками индексации и проверяю такой шаблон подачи, интересно, что выдаст. В этот раз уделил особое внимание к вредным ботам и оптимизации обработки и удалением лишних дублей там, где это не нужно.

User-agent: *
Disallow: /admin.php
Disallow: /account/
Disallow: /attachments/
Disallow: /search/
Disallow: /groups/
Disallow: /lfs/
Disallow: /goto/
Disallow: /misc/
Disallow: /birthdays/
Disallow: /tags/
Disallow: /threads/*/reply
Disallow: /*/about
Disallow: /*/unread
Disallow: /*/latest
Disallow: /threads/*/who-replied/
Disallow: /conversations/
Disallow: /lost-password/
Disallow: /online/
Disallow: /misc/style?*
Disallow: /cdn-cgi/
Disallow: /*/page-*
Disallow: /*/?
Disallow: /?*
Sitemap: https://мой_домен/sitemap.xml

User-agent: Yandex
Clean-param: content&user_id&prefix_id&desc&page&download_count&direction&reject&accept&update&_debug&direction&order&tab_id
Host: мой_домен
Disallow: /whats-new/
Disallow: /members/
Disallow: /resources/categories/*/featured
Disallow: /resources/*/update/*/reactions
Disallow: /resources/*/updates
Disallow: /resources/*/reviews
Disallow: /resources/*/history
Disallow: /resources/authors/*/
Disallow: /help/
Disallow: /login/
Disallow: /register/

User-agent: YandexNews
Allow: /forums/-/index.rss

User-agent: Googlebot-News
Allow: /forums/-/index.rss

User-agent: Mediapartners-Google
Disallow: /

User-agent: GPTBot
Disallow: /

User-Agent: trendictionbot
Disallow: /

User-agent: ChatGPT-User
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

User-agent: FacebookBot
Disallow: /

User-agent: Applebot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: dotbot
Disallow: /

User-agent: MegaIndex
Disallow: /

User-agent: Claude-Web
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: OAI-Embedder
Disallow: /

User-agent: OAI-SearchCrawler
Disallow: /

User-agent: PerplexityBot
Disallow: /

User-agent: YouBot
Disallow: /

User-agent: cohere-ai
Disallow: /

User-agent: MJ12bot
Crawl-delay: 10
Disallow: /

User-agent: AhrefsBot
Crawl-delay: 5
Disallow: /

Шаблон дефолтный, можете себе поставить, если хотите, лишнее от плагинов убрал и поправил те места, где правил для себя.
Сразу предупреждаю, у меня пока XF 2.2.