robots.txt - Инструкции и секреты настройки

[Sadorimatsu]

посмотрел, что есть в индексе, возможно стоит добавить в Clean-param значение do и starter_id

Не видел таких значений из коробки вообще, да и за всё время обходов не получал таких значений. Так что вероятно они появляются от работы каких-то плагинов. На что у вас они ссылаются?

 

[akok]

starter_id - фильтр по создавшим тему в разделе, тут тоже работает. Хотя еще раз посмотрел в код, там есть тег "canonical", но яндекс держит в индексе страницы с 2025 года.

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

do, а вот тут интереснее, всякий мусор, не имеющий отношения к xenforo
?do=file&dlfileid=36
?do=file&id=11
?do=file&id=12&act=down

Это я решил посмотреть, что есть в индексе яндекса, но нет в sitemap

 

[Sadorimatsu]

akok, любопытно. Яндекс мне никак на это не ругался и даже не показывал. Гугл подавно. Хотя вроде и должно т.к. есть только заголовок, но нет описания вообще. Если только по этому и игнорит т.к. нет одного из ключевых элементов? Хм.

 

[ZlataJesen]

Выбрала эту тему, чтобы задать вопрос по индексации страниц помощи (/help). По умолчанию стоит "Disallow: /help/" и это правильно. Понятно, что в обычном поиске страниц справки быть не должно, но тут вопрос:
"Политика в отношении обработки персональных данных" у меня стоит как раз в данном разделе в качестве одной из страниц (удобно). Её, как я слышала, РКН проверяет как раз с помощью ботов. Не будет ли проблемы с доступностью, потому что боты ИИ по моему запросу страницы политики "не видят", хотя на обычные ссылки по форуму легко переходят.
Не уверена, что из-за robots.txt, но вероятность есть. Как проверить, что-то не соображу. Подскажите, пожалуйста.

 

[akok]

robots.txt можно проигнорировать, это всё-таки рекомендации. Да и вообще, если нужно, бот может проигнорировать любые директивы, кроме прямого запрета доступа — то есть 403. В общем, если есть доступ гостям, то и бот зайдет. Вопрос конечно, при активном антиботе...

 

[Sadorimatsu]

РКН проверяет как раз с помощью ботов. Не будет ли проблемы с доступностью, потому что боты ИИ по моему запросу страницы политики "не видят", хотя на обычные ссылки по форуму легко переходят.

Можете полностью это игнорировать. Как верно подметил akok, robots.txt служит направляющим и рекомендацией на то, что ботам следует проверять, а что нет, но боты определенного характера могут игнорировать его и искать целенаправленно то на что запрограммированы. Тем более их боты явно будут искать с определенным фильтром, найдут одно, найдут и другое. Не переживайте. Тем более РКН чаще всего на вас выйдет по наводке (жалобе), чем дождётесь их бота, да и не слышал случаев, чтобы реально засекали их ботов или случаев таких проверок из-за этого, а то уже давно бы стали известным достоянием.
Что про них вообще известно?

Системы Ботов РКН

АС МПДн
ИС «Окулус»
ИС «Вепрь»
Платформа «Мир»
АС «Чистый интернет» (АС ЧИ)
АС «Чистый интернет» (бот-ферма)
АС МАВР
АС КОВ
АС МСМК (подсистемы «Симона» и «Сирена»)
АС МАСМ
АСМТРВ

Известно только на чём они базируются, подробно в поиске по названию сами почитайте, а так неизвестно конкретные названия, скрывают их тщательно, что не удивительно.

Известные боты РКН в Телеграм

@Trustchannelbot
@rsgovbot

На текущий момент это всё что о них известно, пока что.

 

[XGrid]

Sadorimatsu, столкнулся с проблемой: постоянно вижу "гостей" и обычных пользователей, которые посещают неизвестную страницу. Причём непонятно почему: то страница отображается нормально, то появляется «Неизвестная страница», хотя роутинг один и тот же. Это связано с каноническими ссылками, если включено.

Решил проверить, куда гости постоянно пытаются попасть. Прошерстил форум и проверил роутинги. Из плагинов у меня всего два, и они никак не связаны с этой проблемой и не должны влиять на определение посещаемых страниц.

*UPD*
Проблема с неизвестными страницами устранена, не доглядел в одном месте, по этому по страницам у меня цепляло к роутингам дополнительную строку, от сюда и получалась временами "Неизвестная страница". Этот плагин помог отследить ( [XFSkins] Online Activity URL )

 

[Sadorimatsu]

Проблема с неизвестными страницами устранена, не доглядел в одном месте, по этому по страницам у меня цепляло к роутингам дополнительную строку, от сюда и получалась временами "Неизвестная страница". Этот плагин помог отследить ( [XFSkins] Online Activity URL )

Странная была вообще проблема, что кто-то мог ссылаться на direct message. Ботам там делать нечего тоже. Но раз разобрались, то и хорошо. Вообще такие вещи быстро можно проверить через лог сервера, кто и куда активно долбится и разбираться.

К теме не относится, но оставлю тут, может кому пригодиться.
Если обнаружите у себя, что боты активно долбят вашу страницу "Что нового?" и устали с ними бороться, то вот вам маленький лайфхак:
Находим свой конфиг nginx в /etc/nginx/conf.d/ и добавляем:

location ^~ /whats-new/ {
    if ($http_cookie !~* "xf_user") {
        return 403;
    }
    try_files $uri $uri/ /index.php?$uri&$args;
}

После перезапустите его. Боты резко начнут отваливаться, суть в том, что все гости не будут видеть эту страницу, а авторизованные пользователи будут. У меня било 1.5-2к ботов ежедневно, в результате только это помогло. Учитывая, что страница не несет особой важности и её не отключить, то это самый практичный способ решения.