XF 2.3 Как запретить индексирование /?topic

[shans1979]

Всем привет. XenForo 2.3.4
В яндекс вебмастере выдало критичную проблему:
Многие страницы являются дублями главной страницы, типа :

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

является дублем к главной странице

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

По факту так и есть. При переходе по ссылкам попадаешь на главную страницу

Вопрос:
Как в robots.txt запретить индексацию ссылок вида /?topic

Так правильно? Или нужно по другому?
Disallow: /?topic
Disallow: /topic/

Сам яндекс вебмастер рекомендует:

Если в поиске есть дубли из-за GET-параметров, рекомендуем использовать директиву

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

в robots.txt, чтобы робот игнорировал незначащие GET-параметры и объединил все сигналы со страниц-копий на основной странице.


Но тут я вообще без понятия что с этим делать.

 

[SoundMonster]

Забить на это многие рекомендуют.

 

[shans1979]

Прекрасно.
но вопрос заключался в другом

 

[Zero-cold]

Добавьте следующую строку в robots.txt:

Clean-param: topic /

Это укажет Яндексу игнорировать параметр ?topic и не воспринимать такие URL как уникальные страницы.

 

[Zero-cold]

Альтернативный вариант: запрет индексации через Disallow

User-agent: Yandex
Disallow: /*?topic

Минусы этого метода:

• Страницы просто исключатся из индекса, но проблема дублей главной страницы не решится так же эффективно, как через Clean-param.
• Может вызвать проблемы с другими поисковиками (Google).

Возможно, у вас включен редирект несуществующих страниц на главную, что и создает проблему.

 

[shans1979]

Понял. Спасибо .