robots.txt - Инструкции и секреты настройки

[Sadorimatsu]

Sadorimatsu добавил(а) новый ресурс:

robots.txt - Инструкции и секреты настройки - Пособие для чайников по настройке robots.txt на XenForo 2+

В этом мануале дам все доступные варианты и наработки по шаблонам robots.txt и на каждом будет расписаны варианты настроек и предложений.

Базовые термины: (С чем работаем)​

1. Краулер (Crawler) / Робот (Bot):
   Программа поисковой системы, которая сканирует страницы сайта и переходит по ссылкам. Примеры: Googlebot (Google), YandexBot (Яндекс), Bingbot (Bing) и т.д.
2. Индексация (канонические URL):
   Процесс добавления информации о странице в...

Узнать больше об этом ресурсе...

 

[Sadorimatsu]

Собрал все важные свои заметки в кучу, что-то поправил. Если считаете, что есть важная информация в теме, то перетащите сюда в тему и будем разбирать - Файл robots.txt или наоборот ошибки, ляпы или неактуальная информация, то сообщаем.
Мне иная информация особо не помогла, потому пользы для себя не увидел, может полезна будет другим, потому решаем сами.

P.S. За простыню простите, не ожидал, что так много всего накопится, позже поправлю и сокращу некоторые моменты для общего понимания.

 

[artscripts]

Наконец-то!!! Портянка неимоверного текста но на 1 странице - нежели куча кода в 10ках страниц форума

 

[Sadorimatsu]

Sadorimatsu обновил(а) ресурс robots.txt - Инструкции и секреты настройки новой записью:

Новая стратегия XF 2.3 v2

Новый шаблон 2.3:

robots.txt - XF 2.3 (v2)

User-agent: *
Disallow: /account/
Disallow: /attachments/
Disallow: /admin.php
Disallow: /birthdays/
Disallow: /cdn-cgi/
Disallow: /conversations/
Disallow: /forums/*/page-*
Disallow: /featured/
Disallow: /goto/
Disallow: /help/
Disallow: /lfs/
Disallow: /login/
Disallow: /lost-password/
Disallow: /members/
Disallow: /misc/
Disallow: /misc/cookies
Disallow: /misc/style-variation
Disallow: /misc/style?*
Disallow...

Узнать больше об этом обновлении...

 

[Efremov]

Всем доброго утра.
Вот что пишет Яша по поводу ключа:

 

[Sadorimatsu]

Всем доброго утра.
Вот что пишет Яша по поводу ключа:

Посмотреть вложение 161530

К XF 2.3 это не относится. Он вшит в ядро. Это для, тех у кого нет адаптации. Можно конечно ключ вытащить и поставить по рекомендации, но разницы не будет. Вы можете лично в этом убедиться. Вытащите свой ключ, и без вставки в корень текстовика с ним, проверьте сразу работу без него и после с ним. Разницы не будет.
Однако, XF рекомендует не светить ключом на него, потому решение вшить его в ядро было и в целях безопасности. Кстати, у кого версия 2.2 и ниже, то им для работы потребуется вставить свой ключ в корень домена. А уж как генерировать ключ, написано на офе -

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

. Однако, как по мне на версиях ниже он тупо не нужен.