XF 2.1 Как побороть дубли страниц?

[aset]

Здравствуйте.
Как вы боретесь с дублями страниц?
Тэги, пагинация, страницы с пользователями и т.д.

Моему сайту ещё нет месяца, в индексе страниц G70, Я80
Половина из всего этого - дубли. мусорные страницы.

Сегодня закрыл все не нужное через robots.txt
Также удалил ненужные страницы через панель вебмастера google и yandex.

1) Начитался статей, про то, что закрытие от индексации через robots.txt не спасет страницы от индексации и появления их в выдаче, робот найдет эти страницы в любом случае. Это действительно так?

2) В панели вебмастера google, полного удаления страниц не происходит. Их лишь можно скрыть на 90 дней. Получается, что не вариант вручную удалять всё возрастающее количество страниц.
Есть ли методы, попроще, как все это решить?

 

[Smalesh]

Да, СДЛ называется.

 

[Yafetius]

Сегодня закрыл все не нужное через robots.txt

Также удалил ненужные страницы через панель вебмастера google и yandex.

Этого вполне достаточно. Поисковые роботы учитывают robots.txt, страницы могут быть проиндексированы, но в выдаче не появятся.

2) В панели вебмастера google, полного удаления страниц не происходит. Их лишь можно скрыть на 90 дней. Получается, что не вариант вручную удалять всё возрастающее количество страниц.
Есть ли методы, попроще, как все это решить?

Если вы правильно составили robots.txt, то необходимо просто подождать (1-4 недели), когда поисковики примут к сведению новые правила индексации. Никаких больше действий не требуется.

Это вообще обычное дело, особо переживать не стоит.