robots.txt - Инструкции и секреты настройки

[Sadorimatsu]

посмотрел, что есть в индексе, возможно стоит добавить в Clean-param значение do и starter_id

Не видел таких значений из коробки вообще, да и за всё время обходов не получал таких значений. Так что вероятно они появляются от работы каких-то плагинов. На что у вас они ссылаются?

 

[akok]

starter_id - фильтр по создавшим тему в разделе, тут тоже работает. Хотя еще раз посмотрел в код, там есть тег "canonical", но яндекс держит в индексе страницы с 2025 года.

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

do, а вот тут интереснее, всякий мусор, не имеющий отношения к xenforo
?do=file&dlfileid=36
?do=file&id=11
?do=file&id=12&act=down

Это я решил посмотреть, что есть в индексе яндекса, но нет в sitemap

 

[Sadorimatsu]

akok, любопытно. Яндекс мне никак на это не ругался и даже не показывал. Гугл подавно. Хотя вроде и должно т.к. есть только заголовок, но нет описания вообще. Если только по этому и игнорит т.к. нет одного из ключевых элементов? Хм.