Индексируется всё подряд

[Danik_com]

Всем привет. Обнаружил в яндекс вебмастере, что индексируются практически все страницы форума, даже страницы отдельных юзеров, их трофеи и описание профиля, это норма, так у всех? Имеет ли смысл ограничить индексацию данных страниц, чтобы не убить сео и если да, то есть ли плагин для этого?

 

[West14]

Danik_com, robots.txt

 

[Danik_com]

Danik_com, robots.txt

У меня просто слишком много страниц левых и каждый день они продолжают добавляться, перебирать все очень долго будет (их пол тысячи), /members то я уже ограничил,но возможно у кого-то есть типовый список технических страниц для робота, который нужно ограничить в xenforo?

 

[West14]

XF 1.5 - Файл robot.txt Тема по 1.5, но основное там совместимо.
В поиске по форуму много подобных тем. Можно взять к примеру, https://xenforo.info/robots.txt
Если не нужны страницы пользователей, то добавить в запреты /members
Подбирать уже будете под себя, что нужно, а что нет.

 

[Danik_com]

XF 1.5 - Файл robot.txt Тема по 1.5, но основное там совместимо.
В поиске по форуму много подобных тем. Можно взять к примеру, https://xenforo.info/robots.txt
Если не нужны страницы пользователей, то добавить в запреты /members
Подбирать уже будете под себя, что нужно, а что нет.

ок, спасибо

 

[Danik_com]

Подскажите еще момент, у меня в корне домена вордпрес сайт находится, а форум в папке домен/forum, файл робот.тхт лучше разместить в корневой папке домена или в папке форума?

 

[West14]

Danik_com, он должен быть в корневой папке сайта, и никак иначе.