Файл robots.txt

[Zero-cold]

Разве XFA Tags Generator не лучше себя показывает? Или все таки есть отличия? Сравнил сейчас функционал, в целом почти идентичны.

Да, отличия есть, и они не маленькие.
На первый взгляд они похожи, потому что оба умеют автоматически подбирать теги, но по факту у них разный центр тяжести.

XFA Tags Generator сильнее именно как движок генерации тегов по контенту. Он умеет искать слова по частоте в содержимом, учитывать title, задавать минимум вхождений, игнор-слова, фильтровать по префиксам, категориям, количеству уже существующих тегов, и работает не только с темами, но и с Resources, XFMG, UBS, AMS. То есть это хороший инструмент, когда надо массово протегировать старый контент или разные типы сущностей.

Tag Essentials шире именно как система управления тегами и страницами тегов. У него есть canonical/synonyms, blacklist, wiki/описание тега, tag tagline/description на фронте, default tags для форумов, tag cloud widget, watch tags, фильтрация тем по тегам, обязательный минимум тегов, а также AI-автотегирование и для тем, и для XFRM. Это уже не просто “генератор”, а именно инфраструктура тегов.

 

[Raniyx]

Да, отличия есть, и они не маленькие.
На первый взгляд они похожи, потому что оба умеют автоматически подбирать теги, но по факту у них разный центр тяжести.

XFA Tags Generator сильнее именно как движок генерации тегов по контенту. Он умеет искать слова по частоте в содержимом, учитывать title, задавать минимум вхождений, игнор-слова, фильтровать по префиксам, категориям, количеству уже существующих тегов, и работает не только с темами, но и с Resources, XFMG, UBS, AMS. То есть это хороший инструмент, когда надо массово протегировать старый контент или разные типы сущностей.

Tag Essentials шире именно как система управления тегами и страницами тегов. У него есть canonical/synonyms, blacklist, wiki/описание тега, tag tagline/description на фронте, default tags для форумов, tag cloud widget, watch tags, фильтрация тем по тегам, обязательный минимум тегов, а также AI-автотегирование и для тем, и для XFRM. Это уже не просто “генератор”, а именно инфраструктура тегов.

Надо будет попробовать перейти, может даже статистика индексации вместе с роботами улучшится. Спасибо за подробности!

 

[Sadorimatsu]

Да неужели он начал блочить members. У меня такое ощущение, что яндекс перестал учитывать свой блок, потому что до этого у меня даже на 2.2 members стоял на блоке и после обновления на 2.3 он его вдруг начал индексировать с прописанным правилом и вот пока не добавил в общий блок его блокировку с 5 марта, блок наконец тока сегодня показал, что 10 марта увидел блок, но вижу, что правило применялось спустя 4 дня, но отчёт от этом дал тока сегодня... надо будет провести эксперимент, будет ли реакция на удаление блока яндекса полностью. Возможно на 2.2 его стоит оставлять, а вот на 2.3 интересно получается. Мне казалось, что правила не должны зависить от платформы, но может я чего-то не знаю?

Спойлер

Посмотреть вложение 161411

Провёл свой маленький эксперимент и могу со 100% гарантией сообщить, что яндексу плевать на общий блок запретов, он видит только свой, но при этом он учитывает некоторые запреты с общего после своего блока т.к. при анализе, сперва проверяются правила с блока яндекса и лишь потом с общего и то он игнорирует некоторые правила. Мне хватило и суток проверить, как индексация не нужных страниц полезла сразу же, как убрал блока яндекса и перевел на общий. Так что, настраивать блок на Яндекс обязательно. А то, что до этого у меня был глюк, я объяснить не могу... разве что падает под подозрение включение режима IndexNow, у которого задача выводить на учёт ботам мгновенно, а не ждать обходов, в начале недели была с ними постоянно ошибка [429], но оказывается косяк был с их стороны и вероятно это могло повлиять на 2.3. Пока вот проблемы не вижу.

 

[Matew]

IndexNow

В 2.3 IndexNow только для Bing, нет?

 

[Sadorimatsu]

В 2.3 IndexNow только для Bing, нет?

Нет.
Список поисковых систем, поддерживающих IndexNow

1. Microsoft Bing
2. Яндекс
3. Naver
4. Seznam.cz
5. Yep
6. Amazon
7. ChatGPT (через Bing)

Google кстати не поддерживает, у них своя система Google Indexing API. На сегодняшний день поддержка с ними не заявлена, но и не факт, что потом не передумают.

 

[Matew]

Список поисковых систем, поддерживающих IndexNow

Я написал не о том, какие поисковые системы поддерживают IndexNow, а о том, что сам движок отправляет данные только в Bing. Других URL адресов в коде нет

 

[Sadorimatsu]

Я написал не о том, какие поисковые системы поддерживают IndexNow, а о том, что сам движок отправляет данные только в Bing. Других URL адресов в коде нет

Всё верно, проверил и действительно. Основная поддержка IndexNow заявлена пока на Bing, но при этом заложен функционал поддержки других, но чтобы это сделать от XF, то можно попробовать заменить bing на тот же yandex, как временное решение. Иных вариантов решения, как вижу нет и стоит ждать обновлений о возможности добавлять самому, если не добавят сами. Либо же предложить на офе это рассмотреть. Если так подумать, то на текущий момент применение IndexNow для РФ бесполезно, у нас ведь почти не используют Bing.