Файл robots.txt

Zero-cold · Суббота в 13:28

Raniyx написал(а):
Разве XFA Tags Generator не лучше себя показывает? Или все таки есть отличия? Сравнил сейчас функционал, в целом почти идентичны.

Да, отличия есть, и они не маленькие.
На первый взгляд они похожи, потому что оба умеют автоматически подбирать теги, но по факту у них разный центр тяжести.

XFA Tags Generator сильнее именно как движок генерации тегов по контенту. Он умеет искать слова по частоте в содержимом, учитывать title, задавать минимум вхождений, игнор-слова, фильтровать по префиксам, категориям, количеству уже существующих тегов, и работает не только с темами, но и с Resources, XFMG, UBS, AMS. То есть это хороший инструмент, когда надо массово протегировать старый контент или разные типы сущностей.

Tag Essentials шире именно как система управления тегами и страницами тегов. У него есть canonical/synonyms, blacklist, wiki/описание тега, tag tagline/description на фронте, default tags для форумов, tag cloud widget, watch tags, фильтрация тем по тегам, обязательный минимум тегов, а также AI-автотегирование и для тем, и для XFRM. Это уже не просто “генератор”, а именно инфраструктура тегов.

Raniyx · Суббота в 14:20

Zero-cold написал(а):
Да, отличия есть, и они не маленькие.
На первый взгляд они похожи, потому что оба умеют автоматически подбирать теги, но по факту у них разный центр тяжести.

XFA Tags Generator сильнее именно как движок генерации тегов по контенту. Он умеет искать слова по частоте в содержимом, учитывать title, задавать минимум вхождений, игнор-слова, фильтровать по префиксам, категориям, количеству уже существующих тегов, и работает не только с темами, но и с Resources, XFMG, UBS, AMS. То есть это хороший инструмент, когда надо массово протегировать старый контент или разные типы сущностей.

Tag Essentials шире именно как система управления тегами и страницами тегов. У него есть canonical/synonyms, blacklist, wiki/описание тега, tag tagline/description на фронте, default tags для форумов, tag cloud widget, watch tags, фильтрация тем по тегам, обязательный минимум тегов, а также AI-автотегирование и для тем, и для XFRM. Это уже не просто “генератор”, а именно инфраструктура тегов.

Надо будет попробовать перейти, может даже статистика индексации вместе с роботами улучшится. Спасибо за подробности!

Sadorimatsu · Воскресенье в 15:28

Sadorimatsu написал(а):
Да неужели он начал блочить members. У меня такое ощущение, что яндекс перестал учитывать свой блок, потому что до этого у меня даже на 2.2 members стоял на блоке и после обновления на 2.3 он его вдруг начал индексировать с прописанным правилом и вот пока не добавил в общий блок его блокировку с 5 марта, блок наконец тока сегодня показал, что 10 марта увидел блок, но вижу, что правило применялось спустя 4 дня, но отчёт от этом дал тока сегодня... надо будет провести эксперимент, будет ли реакция на удаление блока яндекса полностью. Возможно на 2.2 его стоит оставлять, а вот на 2.3 интересно получается. Мне казалось, что правила не должны зависить от платформы, но может я чего-то не знаю?

Посмотреть вложение 161411

Провёл свой маленький эксперимент и могу со 100% гарантией сообщить, что яндексу плевать на общий блок запретов, он видит только свой, но при этом он учитывает некоторые запреты с общего после своего блока т.к. при анализе, сперва проверяются правила с блока яндекса и лишь потом с общего и то он игнорирует некоторые правила. Мне хватило и суток проверить, как индексация не нужных страниц полезла сразу же, как убрал блока яндекса и перевел на общий. Так что, настраивать блок на Яндекс обязательно. А то, что до этого у меня был глюк, я объяснить не могу... разве что падает под подозрение включение режима IndexNow, у которого задача выводить на учёт ботам мгновенно, а не ждать обходов, в начале недели была с ними постоянно ошибка [429], но оказывается косяк был с их стороны и вероятно это могло повлиять на 2.3. Пока вот проблемы не вижу.

Matew · Воскресенье в 22:07

Sadorimatsu написал(а):
IndexNow

В 2.3 IndexNow только для Bing, нет?

Sadorimatsu · Воскресенье в 22:45

Matew написал(а):
В 2.3 IndexNow только для Bing, нет?

Нет.
Список поисковых систем, поддерживающих IndexNow

Microsoft Bing
Яндекс
Naver
Seznam.cz
Yep
Amazon
ChatGPT (через Bing)

Google кстати не поддерживает, у них своя система Google Indexing API. На сегодняшний день поддержка с ними не заявлена, но и не факт, что потом не передумают.

Matew · Воскресенье в 22:55

Sadorimatsu написал(а):
Список поисковых систем, поддерживающих IndexNow

Я написал не о том, какие поисковые системы поддерживают IndexNow, а о том, что сам движок отправляет данные только в Bing. Других URL адресов в коде нет

Sadorimatsu · Воскресенье в 23:03

Matew написал(а):
Я написал не о том, какие поисковые системы поддерживают IndexNow, а о том, что сам движок отправляет данные только в Bing. Других URL адресов в коде нет

Всё верно, проверил и действительно. Основная поддержка IndexNow заявлена пока на Bing, но при этом заложен функционал поддержки других, но чтобы это сделать от XF, то можно попробовать заменить bing на тот же yandex, как временное решение, согласно вашему примеру как раз. Иных вариантов решения, как вижу нет и стоит ждать обновлений о возможности добавлять самому, если не добавят сами. Либо же предложить на офе это рассмотреть. Если так подумать, то на текущий момент применение IndexNow для РФ бесполезно, у нас ведь почти не используют Bing.

Sadorimatsu · Сегодня в 11:29

Matew написал(а):
Я написал не о том, какие поисковые системы поддерживают IndexNow, а о том, что сам движок отправляет данные только в Bing. Других URL адресов в коде нет

Есть интересные детали, прошу ознакомиться тут -

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Помимо этого узнал, что Bing используется, как основной эндпоинт для IndexNow и даже яндекс учавствовал в разработке его и сам яндекс подтверждает использовать его -

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

То что в XF указан в коде Bing, это говорит о том, что там указан основной шлюз для работы с другими, а точней с

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

, где есть поддержка. Короче говоря, включать его для РФ прям очень рекомендуется и работать должно.

Включать IndexNow нужно. Он работает для Яндекса так же эффективно, как и для Bing, благодаря тому, что XenForo использует общий шлюз api.indexnow.org. Потому что упоминание в коде Bing и смущает сперва, а оказывается там просто заложен основной шлюз для его работы.
Тут можно найти даже в авторах контктный яндекс -

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Вот оф. статьи от XF:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Обратите внимание, что Yandex упомянут персонально в одном ряду с Bing. Это говорит о факте поддержки.

Что говорит Яндекс об этом?

В документации Яндекса прямо указано:

"С помощью IndexNow вы можете напрямую уведомить Яндекс об изменениях на сайте, не дожидаясь очередного обхода индексирующим роботом."

И далее в разделе "

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

" перечислены плагины для различных систем, но XenForo там нет, потому что для него плагин не нужен, говорит о том, что поддержка уже встроена в ядро. Учитывая, что яндекс 1 из разработчиков, будь необходимость, они бы добавили.

Efremov · Сегодня в 12:40

Sadorimatsu, а где взять этот ключ вообще? По ссылке на яндекс, вообще не нашёл ничего, только описание. В вебмастере тоже не нашёл...

Sadorimatsu · Сегодня в 13:08

Efremov, ключ генерируется автоматически и зашивается на БД. Таблица xf_data_registry

Короче, открываем phpmyadmin, выбираем свою БД и найти таблицу xf_data_registry и в data-key помечена как options, там ключ, но напрямую вы его не посмотрите. Для простоты решения экспортируем весь xf_data_registry в любом текстовом виде, например CSV. В файле найдите строку indexNow, и дальше от неё будет что-то типа "";a:2:{s:7:""enabled"";s:1:""1"";s:3:""key"";s:32:" и сразу после уже ваш ключ на 32 символа из букв и цифр разного регистра. Это ваш основной ключ indexNow.

Если знаете более точную команду в SQL, то это быстрей будет, я не знаю и разбираться лень, потому расписал примитивный вариант. Благо у меня была подсказка, помогло найти ключ.

Чтобы проверить, работает ли в яндексе, то для этого вбиваем в браузере:
https://yandex.ru/indexnow?url=https://ВАШ_ДОМЕН/&key=ВАШ_КЛЮЧ_IndexNow
Или, например последний обновленный ресурс:
https://yandex.ru/indexnow?url=https://ВАШ_ДОМЕН/resources/1/&key=ВАШ_КЛЮЧ_IndexNow
В результате, вы должны получить ответ:

Код:

{
  "success":true
}

Что говорит о том, что всё работает у вас в яндексе.

Самый простой способ понять, работает ли он вообще, то заходим

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

и смотрим. Если увидим адреса в обработке, значит работает, следовательно и в яндексе тоже будет работать.

Так что, я со 100% уверенностью подтверждаю работу IndewNow в Яндексе.

Возникает вопрос, а надо ли вам это делать, чтобы найти ключ?

Нет, не нужно, потому что всё работает. Если вы дотошный человек, то дерзайте. Убедитесь лично.

Цель была найти сам ключ, проверить работу на яндексе. Проверка прошла успешно.

Целый квест блин по его поиску в БД.

Raniyx · Сегодня в 17:42

Sadorimatsu написал(а):
Короче, открываем phpmyadmin, выбираем свою БД и найти таблицу xf_data_registry и в data-key помечена как options, там ключ, но напрямую вы его не посмотрите. Для простоты решения экспортируем весь xf_data_registry в любом текстовом виде, например CSV. В файле найдите строку indexNow, и дальше от неё будет что-то типа "";a:2:{s:7:""enabled"";s:1:""1"";s:3:""key"";s:32:" и сразу после уже ваш ключ на 32 символва из букв и цифр разного регистра. Это ваш основной ключ indexNow.

Да, если функция включена в настройках панели, то можно воспользоваться примерно следующим SQL запросом:

SQL:

SELECT SUBSTRING_INDEX(
         SUBSTRING_INDEX(data_value, 's:3:"key";s:32:"', -1),
         '"',
         1
       ) AS indexnow_key
FROM xf_data_registry
WHERE data_key = 'options'
  AND data_value LIKE '%"indexNow"%';

Sadorimatsu · Сегодня в 19:41

Raniyx написал(а):
Да, если функция включена в настройках панели, то можно воспользоваться примерно следующим SQL запросом:

SQL:

SELECT SUBSTRING_INDEX( SUBSTRING_INDEX(data_value, 's:3:"key";s:32:"', -1), '"', 1 ) AS indexnow_key FROM xf_data_registry WHERE data_key = 'options' AND data_value LIKE '%"indexNow"%';

Благодарю, команда работает, забыл добавить, что после команды, выбираем там ниже Экспорт и любой текстовый формат, сразу покажет ключ.

artscripts · Сегодня в 19:50

Я еще раз повторюсь - создайте ресурс под robots.txt , вы уже прыгаете по темам что начинает усложнять поиск. Во вторых для чего вы тут команды присылаете чтобы неопытный Юзер. полез и не дай бог напортачил у себя в базе, незачем им всем эта информация от слова совсем.

Sadorimatsu · Сегодня в 19:54

artscripts написал(а):
полез и не дай бог напортачил у себя в базе

Вот взял и всё обломал.

В этом то и прелесть.

Но сама команда норм, она вреда не наносит, так что бояться не стоит. (с серьёзным лицом

)

Сегодня создам ресурс мануал с текущими наработками, думаю можно, инфы достаточно, по итогам уже обновим там.

Файл robots.txt

Zero-cold

Raniyx

Sadorimatsu

Matew

Sadorimatsu

Matew

Вложения

Sadorimatsu

Sadorimatsu

Что говорит Яндекс об этом?

Efremov

Sadorimatsu

Возникает вопрос, а надо ли вам это делать, чтобы найти ключ?

Raniyx

Sadorimatsu

artscripts

Реклама, support, вопросы по проекту

Sadorimatsu

Мы ценим вашу конфиденциальность

Файл robots.txt

Вложения

Что говорит Яндекс об этом?​

Возникает вопрос, а надо ли вам это делать, чтобы найти ключ?​

Реклама, support, вопросы по проекту

Мы ценим вашу конфиденциальность

Что говорит Яндекс об этом?

Возникает вопрос, а надо ли вам это делать, чтобы найти ключ?