robots.txt - Инструкции и секреты настройки

[Sadorimatsu]

Sadorimatsu добавил(а) новый ресурс:

robots.txt - Инструкции и секреты настройки - Пособие для чайников по настройке robots.txt на XenForo 2+

В этом мануале дам все доступные варианты и наработки по шаблонам robots.txt и на каждом будет расписаны варианты настроек и предложений.

Базовые термины: (С чем работаем)​

1. Краулер (Crawler) / Робот (Bot):
   Программа поисковой системы, которая сканирует страницы сайта и переходит по ссылкам. Примеры: Googlebot (Google), YandexBot (Яндекс), Bingbot (Bing) и т.д.
2. Индексация (канонические URL):
   Процесс добавления информации о странице в...

Узнать больше об этом ресурсе...

 

[Sadorimatsu]

Собрал все важные свои заметки в кучу, что-то поправил. Если считаете, что есть важная информация в теме, то перетащите сюда в тему и будем разбирать - Файл robots.txt или наоборот ошибки, ляпы или неактуальная информации, то сообщаем.
Мне иная информация особо не помогла, потому пользы для себя не увидел, может полезна будет другим, потому решаем сами.

P.S. За простыню простите, не ожидал, что так много всего накопится, позже поправлю и сокращу некоторые моменты для общего понимания.

 

[artscripts]

Наконец-то!!! Портянка неимоверного текста но на 1 странице - нежели куча кода в 10ках страниц форума

 

[Sadorimatsu]

Sadorimatsu обновил(а) ресурс robots.txt - Инструкции и секреты настройки новой записью:

Новая стратегия XF 2.3 v2

Новый шаблон 2.3:

robots.txt - XF 2.3 (v2)

User-agent: *
Disallow: /account/
Disallow: /attachments/
Disallow: /admin.php
Disallow: /birthdays/
Disallow: /cdn-cgi/
Disallow: /conversations/
Disallow: /forums/*/page-*
Disallow: /featured/
Disallow: /goto/
Disallow: /help/
Disallow: /lfs/
Disallow: /login/
Disallow: /lost-password/
Disallow: /members/
Disallow: /misc/
Disallow: /misc/cookies
Disallow: /misc/style-variation
Disallow: /misc/style?*
Disallow...

Узнать больше об этом обновлении...