robots.txt - Инструкции и секреты настройки

[Sadorimatsu]

Нет такого, есть предложение "начать"
Сайт я им добавила и карту сайта тоже.

Если вы в Bing не добавляли сайт до сего момента, то нужно ждать, когда соберет данные. По нему проще всего понять, работает ли IndexNow. Наберитесь терпения. А так, конечно странно, что ключ свой найти не можете. Самый быстрый выполнить SQL команду в phpMyadmin и вам сразу даст файл, который надо экспортировать в любой текстовый и там покажет тока ваш ключ, если он есть. Команда тока фильтрует, она ничего не пишет, если вас это пугает.

 

[anastasiya]

я именно запросом делала.
ну подожду

 

[Sadorimatsu]

я именно запросом делала.
ну подожду

Ключ генерируется в любом случае. Технической составляющей, влияющей на генерацию ключа нет. Лицензия у вас XF или нет.

Вы можете проверить ключ напрямую через консоль:​

Открываем консоль (Putty или что-то другое)
Вводим:
sudo -i
Вводим пароль от учётки сервера
Далее вводим:
mysql
После вводим:
use database;
Под database имя вашей базы MySQL. Точка с запятой в конце обязательно.
После вводим SQL команду:

SELECT SUBSTRING_INDEX(
         SUBSTRING_INDEX(data_value, 's:3:"key";s:32:"', -1),
         '"',
         1
       ) AS indexnow_key
FROM xf_data_registry
WHERE data_key = 'options'
  AND data_value LIKE '%"indexNow"%';

И получаем окно:

+----------------------------------+
| indexnow_key                     |
+----------------------------------+
| ТУТ БУДЕТ ВАШ КЛЮЧ               |
+----------------------------------+

Чтобы проверить, работает ли в яндексе, то для этого вбиваем в браузере:
https://yandex.ru/indexnow?url=https://ВАШ_ДОМЕН/&key=ВАШ_КЛЮЧ

Оказывается, можно было так легко проверить.

 

[DreamTails]

Вы можете проверить ключ напрямую через консоль:

Тут лучше сократить этот шаг до подключения к БД через mysql или phpMyAdmin, потому что на тех же виртуальных хостингах не всегда доступ до SSH есть, а многие просто будут копировать пошагово и не понимать смысл действий.

И если использовать mysql, то лучше подключаться с данными, под которыми сам движок с базой и работает, из src/config.php

 

[Sadorimatsu]

Тут лучше сократить этот шаг до подключения к БД через mysql или phpMyAdmin, потому что на тех же виртуальных хостингах не всегда доступ до SSH есть, а многие просто будут копировать пошагово и не понимать смысл действий.

Я просто добавил вариант для консоли, обычный вариант для прямой проверки через phpmyadmin так же добавлено в мануал, как и варианты запроса. Так что виртуальные хостеры без проблем смогут проверить. Да и зачем им его проверять, когда он работает на XF и без всего это. Можно банально XF привязать к вебмастеру Bing и там увидеть, работает ли, это самый примитивный способ проверки работы IndexNow. Вообще проверка это не нужна. Но видимо многим стало интересно, какой у них ключ.

 

[Sadorimatsu]

Как убрать префикс перед meta заголовком в теме/ресурсе?​

Создаем 2 модификатора шаблона.
Для темы ищем шаблон - thread_view
Найти:
<xf:title page="{$page}">{{ prefix('thread', $thread, 'escaped') }}{$thread.title}</xf:title>
Заменить:
<xf:title page="{$page}">{$thread.title}<xf:if is="$prefix">[{{ prefix('thread', $thread, '', '') }}]</xf:if></xf:title>

Было

Посмотреть вложение 161623

Стало

Посмотреть вложение 161625

---

Для ресурса ищем шаблон - xfrm_resource_view
Найти:
<xf:title>{{ prefix('resource', $resource, 'escaped') }}{$resource.title}</xf:title>
Заменить:
<xf:title>{$resource.title}<xf:if is="$prefix">[{{ prefix('resource', $resource, '', '') }}]</xf:if></xf:title>

Было

Посмотреть вложение 161624

Стало

Посмотреть вложение 161626

Что это даёт?
В коде страницы у нас префикс всегда в начале заголовка и на поиске контента нам по умолчанию выдавало название префикса и уж потом название темы/ресурса, вплоть до название форума и прочее... портянка знатная получается.
Модификация поможет убрать это недоразумение из выдачи вообще т.к. выводить префиксы в мета ошибка, это чисто моё мнение т.к. добавляет лишний мусор. Если вы иного мнения, то вам это не нужно.

Если вы такой же ценитель префиксов, вам это может быть полезно. А уж как префикс визуально смещать, то CSS в помощь, тут у всех свои хотелки. По крайне мере связь с заголовком мы спокойно убираем.
P.S. в общий мануал добавлено.

Не сразу заметил, но если мы убираем с ресурса и темы префиксы, то по факту при создании ресурса, тема имеет тот же самый заголовок, хоть и с разным описанием т.к. сокращает, следовательно мы получаем дубли только по заголовку. Чтобы этого избежать, то нужно выбирать, где всё же оставить префикс. В моём случае, мне разумно вернуть их показ в темах т.к. ресурс для выдачи для меня приоритет и мне нужно, чтобы префикс накладывался везде, но на индексации он будет игнорироваться только в ресурсах.
Если вы не пользуетесь XFRM, то вам без разницы будет.
Либо можно отключать создание темы от ресурсов или просто отключаем наложение префиксов в теме ресурса. Варианты решения есть, выбираем какой вам удобней.
Возьмите просто на заметку.
Конечно, если вы не пользуетесь вообще префиксами, то вам это не нужно.

 

[Sadorimatsu]

Дополняем список блокировок в ресурсах:

Disallow: /resources/categories/*?prefix_id= # Префиксы ресурсов на странице категорий
Disallow: /resources/*/extra # Вкладка дополнительной информации - Доп. поля (кастомные)

Совсем про них забыл.

В обновлении и мануале добавлено.

К дополнению появилась необходимость блокировать:
Disallow: /resources/categories/*?*prefix_id
Префиксы ресурсов на странице категорий. Одного правила *?prefix_id= недостаточно. Это просто фильтр, индексировать не к чему.
Полагаю, кто ещё пользуется плагином - Multi Prefix это особенно будет важно.
Disallow: /resources/*?*page=
Страница списка ресурсов, категорий так же касается. Он блокирует только от 2 страницы и выше, то что на 1 индексируется везде. Убираем лишние дубли по мета описанию от списка ресурсов.
Например у вас:
/resources/categories/1/ - индексироваться будет, потому что берет заголовок и мета описание от категории
/resources/categories/1/?page=2 - запрет на индексацию
Тоже касается:
/resources/?page=2 - запрет на индексацию
/resources/ - индексироваться всегда будет, но имеет только заголовок, жаль нет мета описания, но если этот недочёт поправить вручную, то проблем не доставит и его индексация, но в коробке это не предусмотрено, так что больше похоже на официальный ляп.

 

[Sadorimatsu]

Sadorimatsu обновил(а) ресурс robots.txt - Инструкции и секреты настройки новой записью:

XF 2.3 v5 почти идеал

robots.txt - XF 2.3 (v5)

User-agent: PetalBot
User-agent: AspiegelBot
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: DotBot
User-agent: MauiBot
User-agent: MJ12bot
Disallow: /

User-agent: Amazonbot
Disallow: /threads/*/reply

User-agent: *
Disallow: /account/
Disallow: /admin.php
Disallow: /attachments/
Disallow: /birthdays/
Disallow: /cdn-cgi/
Disallow: /conversations/
Disallow: /featured/
Disallow: /forums/*/page-*
Disallow: /forums/*?*prefix_id*
Disallow...

Узнать больше об этом обновлении...

 

[Sadorimatsu]

Sadorimatsu обновил(а) ресурс robots.txt - Инструкции и секреты настройки новой записью:

XF 2.3 v5 почти идеал



Узнать больше об этом обновлении...

Хм, правило Disallow: /resources/categories/*?*prefix_id* как заметил избыточно т.к. правило Disallow: /resources/*?*prefix_id* его перекрывает всё равно. Можно и оставить с разделением, погоды не делает, просто так получается более точечно. Но лучше поправлю т.к. смысла в нём нет уже, правка внесена.

 

[Sadorimatsu]

Прям какой-то закон подлости, стоит обновить глобально, вылезает, что-то новое.
Disallow: /resources/*?*order=*
Правило закрывает любое упоминание страницы с order и размещает его на общий раздел ресурсов, как с префиксами т.к. распространяется на все страницы внутри его. В моём случае получил индексацию на категорию

Мой пример с mods это ресурсы

А если быть точным, он ссылается на базовый виджет "Лучшие ресурсы", который с ключом xfrm_list_top_resources и если нажать на его заголовок в ресурсах, то будет адрес /resources/?order=rating_weighted. Проще говоря он ссылается на фильтр "Рейтинг". Лучше блочить т.к. ничего кроме заголовка он не хватает. Можно просто убрать виджет, тоже решение.

В обновление добавлено.

 

[Sadorimatsu]

Прям какой-то закон подлости, стоит обновить глобально, вылезает, что-то новое.
Disallow: /resources/*?*order=*
Правило закрывает любое упоминание страницы с order и размещает его на общий раздел ресурсов, как с префиксами т.к. распространяется на все страницы внутри его. В моём случае получил индексацию на категорию

Мой пример с mods это ресурсы

Посмотреть вложение 161872

А если быть точным, он ссылается на базовый виджет "Лучшие ресурсы", который с ключом xfrm_list_top_resources и если нажать на его заголовок в ресурсах, то будет адрес /resources/?order=rating_weighted. Проще говоря он ссылается на фильтр "Рейтинг". Лучше блочить т.к. ничего кроме заголовка он не хватает. Можно просто убрать виджет, тоже решение.

В обновление добавлено.

Продолжаем, обнаружился ещё один виджет на "Последние оценки". Добавляем:
Disallow: /resources/latest-reviews
Там просто страница со списком всех отзывов, ничего полезного нет и учёт тока по заголовку. Либо можно просто убрать виджет, он помечается ключом xfrm_overview_latest_reviews

 

[DreamTails]

Sadorimatsu, не думаете случаем переработать структуру ресурса, и базово составить robots.txt под чисто ванильный движок, без плагинов? Для плагинов можно сделать сноску в отдельные спойлеры в дополнение к основному robots.txt. Будет выглядеть и читаться чуточку проще, и в частности если у человека нет условного resource manager, плагина на статистики, дни рождения и прочее, ему не нужно будет тащить за собой полотно по сути лишних записей.

 

[Sadorimatsu]

DreamTails, предложите вариант для уточнения, я и так максимально выдаю только вариант из коробки.

Единственное не помню с ними, хорошо, что обратили внимание:
/birthdays/ - не помню, было ли, чтобы ставил плагин на это, требует уточнения.
/cdn-cgi/ - не помню от чего хватало, было на 2.2. Вероятно на 2.3 перестало быть актуальным.
/lfs/ - возможно была статистика, тут мог запамятовать, потому можно и убрать.
Отдельно с ними проверю, в следующей обнове уберу, если действительно будут не актуальны. А всё остальное точно базовый набор.

Если на базовом нет, то можно убрать. Они в принципе никому не мешают, раз нету к ним обращения, так что не страшно. По старой памяти оставил.

Можно конечно разделить каждый вариант, где на XF, а где XFRM, но будет ли это удобно? Тут вопрос. К тому же я никак не проверю XFMG т.к. не пользуюсь, те кто пользуется, было бы хорошо получить информацию о том, что индексируется и как выводится, а что закрыть, но думаю мало кто изучал этот вопрос... Да и есть люди, которым удобно сразу копи-паст сделать за раз.

К тому же оставил пометки, кто не пользуется XFRM, то просто с шаблона убираем все с упоминанием resources.

Предложите свои варианты решения, оформления, может ещё что закрыть нужно. А то выходит тока мне одному есть дело разбираться в этом.

Позже, думаю провести эксперименты с яндексом на тему utm меток и clean-param. Как почитал, если даже их и указывать в блоке яндекса, то гугл всё равно в консоли будет на него ругаться, то можно оказывается это игнорировать, потому что учёт всё равно будет. Так ли оно, не могу сказать. Да и ещё вопрос, будет ли в этом необходимость. По крайне мере с текущим шаблоном индексация идёт очень хорошо, если что по мелочи всплывает, то сообщаю.

 

[DreamTails]

@DreamTails, предложите вариант для уточнения, я и так максимально выдаю только вариант из коробки.

Я просто вижу, что в теме вы активно дорабатываете под XFRM, и поэтому предложил ввести подобное разграничение. В целом даже если идея не приглянется, это просто мнение со стороны.

Вижу это так: в самом вверху ресурса спойлеры под разные версии движков и разные вариации, если там есть различия (как у вас сделано версионирование), с подробным описанием что и как работает, как отлаживать, а чуть ниже, спойлер под тот или иной плагин, тот же ресурс менеджер

Можно конечно разделить каждый вариант, где на XF, а где XFRM, но будет ли это удобно?

Имхо да, потому что не всем нужны те же ресурсы, а хватает какого-нибудь банального движка + статистики + хайдов. Всё зависит от потребностей.

К тому же оставил пометки, кто не пользуется XFRM, то просто с шаблона убираем все с упоминанием resources.

Тоже есть нюанс, условно я мог бы когда-то давно переименовать роутинг с /resources/ на /r/, просто скопипастить ресурс и не понимать, что не так

 

[Sadorimatsu]

Я просто вижу, что в теме вы активно дорабатываете под XFRM, и поэтому предложил ввести подобное разграничение. В целом даже если идея не приглянется, это просто мнение со стороны.

По XFRM скорей закрываю хвосты, которые мог пропустить т.к. он у меня основной приоритет для работы, то требует более детального изучения. Для самого XF база указана в полном объёме, добавлять нечего. По возможности предложу по нему кастомные решения, если будет повод, что-то улучшить.

Вижу это так: в самом вверху ресурса спойлеры под разные версии движков и разные вариации, если там есть различия (как у вас сделано версионирование), с подробным описанием что и как работает, как отлаживать, а чуть ниже, спойлер под тот или иной плагин, тот же ресурс менеджер

Можно рассмотреть с пояснением, что какое правило перекрывает, да бы было понимание, потому что именно с этим у всех и проблема. Идея хорошая и имеет место быть. Думаю позже рассмотрю, как лучше это оформить.

Тоже есть нюанс, условно я мог бы когда-то давно переименовать роутинг с /resources/ на /r/, просто скопипастить ресурс и не понимать, что не так

С этим не поспорю, это не всегда удобно. Дали повод задуматься, благодарю.

 

[Sadorimatsu]

Сегодня получил индексацию на вот такие адреса:

/api/oembed/?url=https%3A%2F%2Fraidgame.ru%2Fthreads%2F769%2F
/api/oembed/?url=https%3A%2F%2Fraidgame.ru%2Fthreads%2F681%2F
Что это такое?
Судя по тому, что известно, это появилось от XF 2.3, потому что на 2.2 я этого точно не видел. Если кратко, то они являются частью новой функции XF 2.3, которая позволяет встраивать контент вашего форума на любые другие сайты.

Кратко суть:

• /api/oembed/ - это новый публичный endpoint в REST API вашего сайта. Он не требует авторизации и всегда доступен.
• oEmbed - это открытый мировой стандарт, который используют тысячи сайтов (такие как, YouTube, Twitter и т.д.), чтобы позволить другим ресурсам встраивать их контент.
• Как это работает? Когда кто-то делится ссылкой на вашу тему/ресурс на другом сайте, этот сайт может обратиться к вашему endpoint (пример URL выше). В ответ он получит готовый HTML-код для красивого встраивания (как встраивается твит или видео с YouTube). Если я не ошибаюсь, тут скорей всего похожий принцип подачи контента, как с Open Graph, тока более в широком спектре. Если у себя внутри форума кидали свои же ссылки и видели, как разворачивается она широко, то это она и есть. Выглядит действительно круто.

Источник, где он упоминается -

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Так что, как увидите их у себя по вебмастеру, не блокируем и не трогаем. Они так и должны работать.