robots.txt - Инструкции и секреты настройки

[Sadorimatsu]

Есть проблемы, поставьте в блоке яндекс:
Disallow: /attachments/
Мне казалось, что в яндексе полезно будет открыть, но когда увидел этот ужас, то лучше закрыть от греха подальше.

Спойлер

Посмотреть вложение 161570

Так же есть подозрение, что правило Disallow: /*?t= влияет на проверку стилей т.к. после, как внёс запрет напрямую в оба блока, мне вебмастер резко начал ругаться, что главная страница не оптимизирована под мобильную версию. Лучше удалите его на оба блока.

Спойлер

Посмотреть вложение 161571

Что тут сказать, методом проб и ошибок, подводим к более продуманным правилам.

Аналогично общему блоку, добавьте в яндекс блок

Allow: /css/
Allow: /js/
Allow: /styles/

До чего же 2.3 версия капризна в индексации, да и ещё кучу лишнего добавлено =_= на 2.2 таких проблем вообще не было.

 

[DreamTails]

Всё ещё считаю сео бякой, которая делает мозги больше, чем всё остальное, и из-за которой люди готовы сломать половину движка, но тема не об этом

До чего же 2.3 версия капризна в индексации, да и ещё кучу лишнего добавлено =_= на 2.2 таких проблем вообще не было.

А почему вы считаете, что 2.3 и 2.2 отличаются в этом плане? Например ни в одной из этих версий нет отдельной папки css как таковой, есть css.php. Даже если вы пощелкаете в инспекторе запросов, то не найдете обращение к этой папке, только если вы сами её не создавали.

Папки js и styles как были, так и остались, почему вдруг с одной версией их нужно индексировать, а с другой этот блок не нужно вставлять? Логика подтягиваний файлов из них та же

 

[Sadorimatsu]

Всё ещё считаю сео бякой, которая делает мозги больше, чем всё остальное, и из-за которой люди готовы сломать половину движка, но тема не об этом

Не мы придумали эти стандарты и от этих стандартов страдаем, если им не следуем. Каждый при своём мнении. Конечно, на это можно забить и публиковаться как есть, учитывая, что с 25 года на это мало влияет и основной приоритет будет поведенческие факторы, а это другая кухня и к теме не относится. Думаю вы и так это понимаете не хуже. Задача подобрать оптимальную настройку robots для XF лишь с той целью, чтобы создать наиболее эффективную живую индексацию в поиске. Иные правила никто не отменял. Так что, в вашем понимании это может и бессмыслено, но для базовой подачи это не менее важно.

А почему вы считаете, что 2.3 и 2.2 отличаются в этом плане? Например ни в одной из этих версий нет отдельной папки css как таковой, есть css.php. Даже если вы пощелкаете в инспекторе запросов, то не найдете обращение к этой папке, только если вы сами её не создавали.

Новые переменные, новые пути. Мой старый шаблон от 2.2 довольно плохо стал работать после обновления, потом приходится проверять и дорабатывать по новой + эксперементировать ничто не мешает. Про /css/ вы правы, этот момент взял с общей методичке гугла, стоило отметить css.php. За правку благодарю.

Папки js и styles как были, так и остались, почему вдруг с одной версией их нужно индексировать, а с другой этот блок не нужно вставлять? Логика подтягиваний файлов из них та же

В принципе, их можно вообще не вставлять, всё равно те файлы, что не указаны в индексации, автоматически доступны, просто в правиле Allow мы сразу тычим боту, что ему разрешено сперва проверить, до всего остального. Но вероятно, эти правила избыточны, потому этот момент пока проверяется. До сего момента никому и дела не было до этих настроек и проверок, так что, смотрим и изучаем.

 

[Sadorimatsu]

Sadorimatsu обновил(а) ресурс robots.txt - Инструкции и секреты настройки новой записью:

Новая стратегия XF 2.3 v4 - Отказ от блока Yandex

Новый шаблон 2.3 v4:

robots.txt - XF 2.3 (v4)

Disallow: /account/
Disallow: /admin.php
Disallow: /attachments/
Disallow: /birthdays/
Disallow: /cdn-cgi/
Disallow: /conversations/
Disallow: /featured/
Disallow: /forums/*/page-*
Disallow: /goto/
Disallow: /help/
Disallow: /lfs/
Disallow: /login/
Disallow: /lost-password/
Disallow: /members/
Disallow: /misc/
Disallow: /online/
Disallow: /posts/*/reactions
Disallow: /register/
Disallow: /resources/*/filters
Disallow...

Узнать больше об этом обновлении...

 

[CHEL74]

Sadorimatsu, User-agent: * забыли в начале и Disallow: /resources/*?field=

 

[Sadorimatsu]

CHEL74, С ним не уверен, у меня в логах вообще переменной field никогда не попадалось, как бы вы не ловите его с какого-то плагина или модификатора. Потому и не стал учитывать. Если появится в логах, то учтем. При попытке проверить, меня просто кидает на общую страницу ресурса. Потому, подтвердить актуальность этого учёта, не могу.

 

[CHEL74]

CHEL74, С ним не уверен, у меня в логах вообще переменной field никогда не попадалось, как бы вы не ловите его с какого-то плагина или модификатора. Потому и не стал учитывать. Если появится в логах, то учтем. При попытке проверить, меня просто кидает на общую страницу ресурса. Потому, подтвердить актуальность этого учёта, не могу.

Я ж писал уже, что стандартный функционал XFRM. Дополнительные поля, отдельная вкладка. Вкладок для дубля должно быть хотя-бы 2 в ресурсе.

 

[Sadorimatsu]

CHEL74, проверю тогда лично, так ли это. Создам для пробы.

 

[Sadorimatsu]

Я ж писал уже, что стандартный функционал XFRM. Дополнительные поля, отдельная вкладка. Вкладок для дубля должно быть хотя-бы 2 в ресурсе.

Проверил и действительно есть такое. URL выглядит с ним так /resources/*/field?field=ИМЯ_ID_ДОП.ПОЛЯ
Чтобы его закрыть, достаточно добавить правило Disallow: /resources/*/field
Но это с тем условием, если у вас есть такая вкладка. Вот в чём нюанс. Без неё и правило не нужно. Предлагаю на него оставить примечание, когда следует добавить.

 

[CHEL74]

Предлагаю на него оставить примечание, когда следует добавить.

Да можно и без примечаний, добавить и пусть будет) Кушать не просит. Всё равно уже поддержка XFRM имеется и раз это стандартный функционал плагина и при этом проблемный, правило для него не помешает.

Но это с тем условием, если у вас есть такая вкладка. Вот в чём нюанс.

Там уже и так достаточно правил, которые могут быть не у всех. Того же XFRM может не быть, может отзывов не быть, может быть вкладка обновлений отключена и т. д.

Можно вообще комментарии сделать, по типу:

# Запрет индексации страниц плагина XenForo Resource Manager:
Disallow: /resources/*/field                 # дополнительные поля (вкладки)
Disallow: /resources/*/filters               # фильтры
Disallow: /resources/*/history               # история версий
Disallow: /resources/*/reviews               # отзывы
Disallow: /resources/*/update/*/reactions    # реакции
и т. д.

Так будет максимально просто и под себя настраивать людям, и вам вносить правки.

А ещё, правило Sitemap: https://ВАШ_ДОМЕН/sitemap.xml предлагаю перенести в самый конец, чтобы было проще обновляться. Можно будет просто копипастить себе всё, что выше этого правила. А то сейчас не удобно обновляться, приходится каждый раз сайт вписывать, либо за 2 захода вставлять обновления. Ну это такое, для лентяев.

 

[Sadorimatsu]

Там уже и так достаточно правил, которые могут быть не у всех. Того же XFRM может не быть, может отзывов не быть, может быть вкладка обновлений отключена и т. д.

Тут с вами соглашусь, раз это входит в коробку, то можно и указать. И в обновленной версии это всё добавлено.

Касаемо ресурсов, то вот список известных путей, которые рекомендуется закрывать из-за проблем дублей:

Disallow: /resources/*/field # Доп. поля (кастомные)
Disallow: /resources/*/filters # Фильтр ресурсов
Disallow: /resources/*/history # История версий ресурсов
Disallow: /resources/*/reviews # Обзоры/Оценки ресурсов
Disallow: /resources/*/update/*/reactions # Реакции на странице обновлений ресурсов
Disallow: /resources/*/updates # Информация по обновлению ресурса
Disallow: /resources/*?prefix_id= # Префиксы ресурсов
Disallow: /resources/authors/*/ # Список ресурсов у автора
Disallow: /resources/categories/*/featured # Рекомендованные ресурсы

Почему их надо закрывать? Потому что не один из них не даёт разные заголовки или мета описание, а где-то мета описания вообще нет. Если это и решать, то на уровне кастомных решений через модификатор шаблона. А надо ли оно вам? Задайте себе сперва этот вопрос.

А ещё, правило Sitemap: https://ВАШ_ДОМЕН/sitemap.xml предлагаю перенести в самый конец, чтобы было проще обновляться.

Указать его можно, хоть в начале, хоть в конце, погоды не делает. Но как-то странно, что вы предпочитаете тупо копировать, не разбираясь, а надо ли он вам.

 

[Sadorimatsu]

Как убрать префикс перед meta заголовком в теме/ресурсе?​

Создаем 2 модификатора шаблона.
Для темы ищем шаблон - thread_view
Найти:
<xf:title page="{$page}">{{ prefix('thread', $thread, 'escaped') }}{$thread.title}</xf:title>
Заменить:
<xf:title page="{$page}">{$thread.title}<xf:if is="$prefix">[{{ prefix('thread', $thread, '', '') }}]</xf:if></xf:title>

Было

Стало

---

Для ресурса ищем шаблон - xfrm_resource_view
Найти:
<xf:title>{{ prefix('resource', $resource, 'escaped') }}{$resource.title}</xf:title>
Заменить:
<xf:title>{$resource.title}<xf:if is="$prefix">[{{ prefix('resource', $resource, '', '') }}]</xf:if></xf:title>

Было

Стало

Что это даёт?
В коде страницы у нас префикс всегда в начале заголовка и на поиске контента нам по умолчанию выдавало название префикса и уж потом название темы/ресурса, вплоть до название форума и прочее... портянка знатная получается.
Модификация поможет убрать это недоразумение из выдачи вообще т.к. выводить префиксы в мета ошибка, это чисто моё мнение т.к. добавляет лишний мусор. Если вы иного мнения, то вам это не нужно.

Если вы такой же ценитель префиксов, вам это может быть полезно. А уж как префикс визуально смещать, то CSS в помощь, тут у всех свои хотелки. По крайне мере связь с заголовком мы спокойно убираем.
P.S. в общий мануал добавлено.

 

[Sadorimatsu]

Решил поковырять вопрос запрета на офе /posts/ и пришёл к выводу, что не зря его указывали.
Оказывается /posts/ - это специальный маршрут в XF. Он не показывает отдельную страницу с контентом, а выполняет 301 редирект на точное место сообщения внутри темы. Например, на офе адрес https://xenforo.com/community/posts/625027/ автоматически перенаправит на https://xenforo.com/community/threads/why-disallow-posts-in-robots-txt.56006/#post-625027. Всё же допустил ошибку, указав, что правило избыточно, оно как раз одно из важных. Как например, тот же /goto/, у них один принцип, но назначение разное.
posts - это редирект на пост.
goto - это редирект по цитате внутри ВВ к источнику поста.
Короче, в шаблон Disallow: /posts/ обязательно нужно поставить!
А вот избыточное в шаблоне Disallow: /posts/*/reactions можно удалить. Все равно /posts/ общий на него.

Разработчик XenForo Mike прямо объяснил это в обсуждении на офе: нет смысла тратить ресурсы поисковика на редиректы, которые ведут к контенту, который робот уже проиндексировал по основному (каноничному) URL.
Простыми словами:

• Экономия краулерного бюджета: Поисковые боты не тратят время на переход по промежуточным ссылкам, которые всё равно ведут на уже знакомые им страницы.
• Предотвращение дублирования: Без этого запрета Google мог бы индексировать два URL с одинаковым содержимым (саму тему и /posts/-редирект), что потенциально вредит SEO.

Источник:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

В шаблон обновления и в мануал правки внесены.

 

[CHEL74]

В шаблон обновления и в мануал правки внесены.

А чего так и не добавили User-agent: * первой строкой? Я же писал ранее, что потеряли его. Там у всех, кто установит себе и не проверит, не будет работать ничего.

 

[Sadorimatsu]

А чего так и не добавили User-agent: * первой строкой? Я же писал ранее, что потеряли его. Там у всех, кто установит себе и не проверит, не будет работать ничего.

Пардон, действительно потерял. Исправил.

 

[Sadorimatsu]

Disallow: /resources/*/field # Доп. поля (кастомные)
Disallow: /resources/*/filters # Фильтр ресурсов
Disallow: /resources/*/history # История версий ресурсов
Disallow: /resources/*/reviews # Обзоры/Оценки ресурсов
Disallow: /resources/*/update/*/reactions # Реакции на странице обновлений ресурсов
Disallow: /resources/*/updates # Информация по обновлению ресурса
Disallow: /resources/*?prefix_id= # Префиксы ресурсов
Disallow: /resources/authors/*/ # Список ресурсов у автора
Disallow: /resources/categories/*/featured # Рекомендованные ресурсы

Дополняем список блокировок в ресурсах:

Disallow: /resources/categories/*?prefix_id= # Префиксы ресурсов на странице категорий
Disallow: /resources/*/extra # Вкладка дополнительной информации - Доп. поля (кастомные)

Совсем про них забыл.

В обновлении и мануале добавлено.

 

[Sadorimatsu]

И ещё, чтобы прям вопросов не возникало. Если вы не знаете, что надо закрывать от ботов или проверить, закрыто или открыто то, что вам нужно, то в вебмастере яндекса идём в Инструменты - Анализ robots.txt
И увидим такое:

Анализ robots.txt

Нас интересует блок ниже:

Доступ к страницам

Вот в нём, пропишите все важные для вас основные URL адреса. Можно полный путь или после домена:

Пример

По нему вы можете понять, что у вас работает, а что нет. Если видите, в Индексирование - Страницы в поиске, что те страницы, что у вас закрыты, прошли индексацию, то это говорит о том, что правило не успело дойти до них и нужно ждать, после его закроет.

 

[anastasiya]

В файле найдите строку indexNow, и дальше от неё будет что-то типа "";a:2:{s:7:""enabled"";s:1:""1"";s:3:""key"";s:32:" и сразу после уже ваш ключ на 32 символа из букв и цифр разного регистра. Это ваш основной ключ indexNow.

Что-то где-то я пропустила. Нет у меня ключа.

"indexNow"";a:2{s:7:""enabled"";s:1:""1"";s:3:""key"";b:0;}s:10:""indexRoute"";s:7:""forums/"";s:9:""ipInfoUrl"";s:37:

Галочка стоит давно:

 

[Sadorimatsu]

Что-то где-то я пропустила. Нет у меня ключа.

Галочка стоит давно:

Значит неправильно выгрузили.
Да и вопрос, зачем вам выгружать ключ? Который работает. Вы его использовать где-то ещё собрались? Вам не нужно его трогать. Инструкция по его проверке дана лишь просто для теста работы. К тому же проверялось на лицензии XF. Как с нуллами обстоят дела, не ведаю, но думаю должно работать.
К тому же, вам достаточно привязать к Bing свой сайт и посмотреть обработку IndexNow, если будет видно такое, значит всё работает и ничего вам там проверять более не надо:

Пример

Если обнаружится, что не работает, то тут уже можно насторожиться. Функция необязательно, она больше для помощи, на работу её отсутствие никак не скажется, просто обходить боты будут как обычно медленно. Но, если так нужна, то как её делать описано тут

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[anastasiya]

Да и вопрос, зачем вам выгружать ключ? Который работает. Вы его использовать где-то ещё собрались? Вам не нужно его трогать.

Просто проверить.

Если обнаружится, что не работает, то тут уже можно насторожиться.

Нет такого, есть предложение "начать"
Сайт я им добавила и карту сайта тоже.