Файл robots.txt

[oxeo]

Для отключенного чпу как-то так:
User-Agent: *
Disallow: /index.php?login/
Disallow: /index.php?lost-password/
Disallow: /index.php?online
Disallow: /index.php?search
Disallow: /index.php?help
Disallow: /index.php?find-new
Disallow: /index.php?posts
Sitemap:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Host:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[AlexMaster]

Disallow: /find-new/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/

Что это за страницы/разделы?

 

[West14]

Disallow: /find-new/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/

Что это за страницы/разделы?

Попробуйте перейти по этим ссылкам, узнаете....

 

[AlexMaster]

Да переходил, не нашел такие

Disallow: /goto/
Disallow: /posts/
Disallow: /advstats/

posts - вроде посты

 

[oxeo]

Да переходил, не нашел такие

Disallow: /goto/
Disallow: /posts/
Disallow: /advstats/

posts - вроде посты

это части урлов которые запрещены к индексации.
Да, posts - это часть урла постов, attachments - вложений и т.д.

 

[Smalesh]

posts - вроде посты

Для примера

 curl -I https://xenforo.info/posts/266/
HTTP/1.1 301 Moved Permanently
Location: https://xenforo.info/threads/customimgcaptcha-spam-combat.199/#post-266

 

[xPirox]

а на ftp куда robots.txt класть? Ни в [имя сайта]/ ни в [имя сайта]/root/ положенный robots.txt через браузер не открывается

 

[Hope]

Всегда лежит в корне.

 

[xPirox]

Всегда лежит в корне.

вот он вроде как в корне и лежит, а ни в браузере не заходит, ни через Search Console не видит его. В чем может быть проблема?

 

[tnAnGel]

xPirox, в корне сайта :LOL:

 

[Mirovinger]

Корневом каталоге форума/сайта, не нужно буквально понимать слова.

 

[xPirox]

Корневом каталоге форума/сайта, не нужно буквально понимать слова.

Подскажите, пож, чайнику, где этот самый корень сайта, если он не в корневой папке.

 

[Hope]

Эм... Где у Вас файлы форума лежат, там и корень.

 

[akok]

Disallow: /find-new/

Обратите внимание, что в xenforo 2 нужно указывать Disallow: /whats-new/

И наверное опционально стоит добавить /help/. У меня помощь вообще эти страницы поисковики "залюбили"

 

[Usta]

Зачем исключение Disallow: /posts/ - ? Что плохого в индексации постов? Или это дубликаты?
В таком случае получается, что индексируется только первый пост в теме?

 

[akok]

В таком случае получается, что индексируется только первый пост в теме?

Индексируется вся тема целиком, а

/posts/

Смотрите 126 пост

 

[DarkShy]

Мой robots.txt

 

[Abimaxmi]

подскажите, чем отличает: Disallow: /find-new/ от Disallow: /find-new ? т.е. что даёт наличие/или отсутствие слэша в конце...
... Гуглил, чёт про это не нашел ?

 

[Neo2003]

подскажите, чем отличает: Disallow: /find-new/ от Disallow: /find-new ? т.е. что даёт наличие/или отсутствие слэша в конце...
... Гуглил, чёт про это не нашел ?

без слэша робот не будет обходить все после буквы "w". Со слэшем только выбранную папку. Но робот капризный малый. В любом случае надо смотреть каждый случай индивидуально.

 

[GeorG]

подскажите, чем отличает: Disallow: /find-new/ от Disallow: /find-new ? т.е. что даёт наличие/или отсутствие слэша в конце...
... Гуглил, чёт про это не нашел ?

Тут всё очень просто.

Disallow: /find-new/
Запретит URL Disallow: /find-new/ (и всё что после него), но разрешит Disallow: /find-new (и всё что после него)
Возможно это будет понятнее https://domen.com/find-new/:
Disallow: /find-new/ - тут будет запрещёно к индексации - https://domen.com/find-new/.34
Disallow: /find-new - тут будет разрешёно к индексации -

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация