robots.txt - Инструкции и секреты настройки

robots.txt - Инструкции и секреты настройки

посмотрел, что есть в индексе, возможно стоит добавить в Clean-param значение do и starter_id
Не видел таких значений из коробки вообще, да и за всё время обходов не получал таких значений. Так что вероятно они появляются от работы каких-то плагинов. На что у вас они ссылаются?
 
starter_id - фильтр по создавшим тему в разделе, тут тоже работает. Хотя еще раз посмотрел в код, там есть тег "canonical", но яндекс держит в индексе страницы с 2025 года.


do, а вот тут интереснее, всякий мусор, не имеющий отношения к xenforo
?do=file&dlfileid=36
?do=file&id=11
?do=file&id=12&act=down

Это я решил посмотреть, что есть в индексе яндекса, но нет в sitemap
 
akok, любопытно. Яндекс мне никак на это не ругался и даже не показывал. Гугл подавно. Хотя вроде и должно т.к. есть только заголовок, но нет описания вообще. Если только по этому и игнорит т.к. нет одного из ключевых элементов? Хм.
 
  • Мне нравится
Реакции: akok
Выбрала эту тему, чтобы задать вопрос по индексации страниц помощи (/help). По умолчанию стоит "Disallow: /help/" и это правильно. Понятно, что в обычном поиске страниц справки быть не должно, но тут вопрос:
"Политика в отношении обработки персональных данных" у меня стоит как раз в данном разделе в качестве одной из страниц (удобно). Её, как я слышала, РКН проверяет как раз с помощью ботов. Не будет ли проблемы с доступностью, потому что боты ИИ по моему запросу страницы политики "не видят", хотя на обычные ссылки по форуму легко переходят.
Не уверена, что из-за robots.txt, но вероятность есть. Как проверить, что-то не соображу. Подскажите, пожалуйста.
 
robots.txt можно проигнорировать, это всё-таки рекомендации. Да и вообще, если нужно, бот может проигнорировать любые директивы, кроме прямого запрета доступа — то есть 403. В общем, если есть доступ гостям, то и бот зайдет. Вопрос конечно, при активном антиботе...
 
Последнее редактирование:
РКН проверяет как раз с помощью ботов. Не будет ли проблемы с доступностью, потому что боты ИИ по моему запросу страницы политики "не видят", хотя на обычные ссылки по форуму легко переходят.
Можете полностью это игнорировать. Как верно подметил akok, robots.txt служит направляющим и рекомендацией на то, что ботам следует проверять, а что нет, но боты определенного характера могут игнорировать его и искать целенаправленно то на что запрограммированы. Тем более их боты явно будут искать с определенным фильтром, найдут одно, найдут и другое. Не переживайте. Тем более РКН чаще всего на вас выйдет по наводке (жалобе), чем дождётесь их бота, да и не слышал случаев, чтобы реально засекали их ботов или случаев таких проверок из-за этого, а то уже давно бы стали известным достоянием.😋
Что про них вообще известно?
АС МПДн
ИС «Окулус»
ИС «Вепрь»
Платформа «Мир»
АС «Чистый интернет» (АС ЧИ)
АС «Чистый интернет» (бот-ферма)
АС МАВР
АС КОВ
АС МСМК (подсистемы «Симона» и «Сирена»)
АС МАСМ
АСМТРВ
Известно только на чём они базируются, подробно в поиске по названию сами почитайте, а так неизвестно конкретные названия, скрывают их тщательно, что не удивительно.
@Trustchannelbot
@rsgovbot
На текущий момент это всё что о них известно, пока что.
 
Последнее редактирование:
Современный облачный хостинг провайдер | Aéza
Назад
Сверху Снизу