XF 2.2 Как закрыть от индексации сгенерированные страницы

[ФАКЕР]

Здравствуйте.

Как закрыть от индексации такие разделы как:

1. Постраничная навигация: [2.x] Техническая поддержка (page-2, page-3 и так несколько тысяч)

2. Фильтры тем на странице форума(такие как ?
prefix_id=2&last_days=30&order=last_post_date&direction=desc)

3. Трофеи (/trophies/?page=477 итд)

4. Теги (/tags/igra/page-4 итд)

5. Фильтры темы пользователя (?starter_id=3551&order=last_post_date&direction=desc итд)

Вроде ничего не забыл.

 

[CrazyHackGUT]

3. Трофеи (/trophies/?page=477 итд)
4. Теги (/tags/igra/page-4 итд)

Закрывается через robots.txt, не?

Остальное не уверен, проще тмской прикрыть, добавляя соотв. meta-тег.

 

[Shorezahs]

Справка Яндекса пишет что параметры в файле robots имеют рекомендательный характер. Необходимо прописывать noindex в страницах.
Посмотри плагины по SEO, там в настройках я когда-то видел нечто похожее на то, что тебе нужно

 

[Efremov]

Закрывается через robots.txt, не?

Насколько я знаю, сейчас robots это не правило для поисковиков, а что-то типо рекомендации

 

[ermak123]

тоже интересуют данный вопрос - Яндекс и Гугл индексирует страницы - потом удаляет - ругается

 

[john_j]

Здравствуйте.

Как закрыть от индексации такие разделы как:

1. Постраничная навигация: [2.x] Техническая поддержка (page-2, page-3 и так несколько тысяч)

По идее можно добавить на страницу noindex.
Есть же все переменные, например $page и другие

То есть, в начале шаблона поставить условие, подобно

<xf:if is="{$page} > 1">
<xf:head option="metaNoindex"><meta name="robots" content="noindex" /></xf:head>
 </xf:if>

Это конечно на уровне идеи.
Что конкретно и куда, это уже смотреть индивидуально.

А robots.txt уже давно не актуален для закрытия страниц от индексации.

 

[Llorephie]

1. Постраничная навигация: [2.x] Техническая поддержка (page-2, page-3 и так несколько тысяч)

Кажется, тут проще средствами самого движка просто отрезать права на просмотр у группы гостей (базовой, без авторизации) - или, сам не проверял - но кажется этот плагин как раз создаёт группу отдельную для ботов: https://xenforo.info/resources/bs-robot-user-group.8658/

2. Фильтры тем на странице форума(такие как ?
prefix_id=2&last_days=30&order=last_post_date&direction=desc)

Что с pagination делать - честно - не могу придумать, эти ссылки перечислены как next/prev page в заголовке страницы, и по ним переход по идее всегда будет происходить (как минимум из-за соображений поддержки доступности).

3. Трофеи (/trophies/?page=477 итд)

Есть как минимум 2 упоминания для XF 2.0 на оф форуме, как добавлять мета-тег на определённых страницах:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

(через $.globals),

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

(в определённых шаблонах), теоретически это можно ткнуть в _help_page_trophies.

4. Теги (/tags/igra/page-4 итд)

...применить вредные советы их предыдущего сообщения к шаблону tag_view,

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

.

5. Фильтры темы пользователя (?starter_id=3551&order=last_post_date&direction=desc итд)

Тот же ответ, что и на второе - так же явно заданы в семантике страницы, и с ними придётся жить.

-----
А про robots.txt - как минимум, оттуда почти всегда используется sitemap :) Кстати, про теги - они туда по умолчанию попадают, в админке, в вашем случае, выключить надо скорее всего.

 

[john_j]

Если рассматривать темы и разделы, то тут основной вопрос - нужно ли вообще закрывать в них пагинацию?
Есть и плюсы и минусы. Большинство сеошников сошлись на мнении что сейчас не нужно.

Ранее, преобладало мнение что нужно из-за образования частичных дублей и расходов краулингового бюджета.
Но сейчас, алгоритмы Гугла изменились. Он стал лояльно относится к страницым пагинации, так как она лучше даёт ему понятие структуры сайта, и тд ..

При этом, фильтры тем, трофеи, и прочие страницы не несущие полезной информации для поисковиков, закрыть полностью через meta noindex.
По тегам зависит от реализации. Если как из коробки, то тоже нет смысла закрывать пагинацию, там лучше вообще всё сделать по другому, с категориями тегов, описанием тегов, и прочим.