XF 2.1 Настройка robots.txt

[Giness]

Добрый день, уважаемые форумчане. Подскажите такой вопрос. Я хочу настроить правильно robots.txt. Перечитал все возможные темы как на этом форума так и просто из просторов интернета. И вот тут у меня вопрос, который я не могу понять. Я закрыл весь сайт из индексации Яндекс. Осталась только одна страница, "главная". Гугл - находит все 150000 страниц. А вот в чем собственно вопрос.
Если я закрываю:
Disallow: /categories - это скрываются сами разделы
Disallow: /forums - это скрываются подразделы

А темы то идут по адресу другому:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Как мне скрыть допустим раздел:
Административный, Или БанЛог, или Архив, или еще что-то.

Буду Вам очень признателен за объяснение.

 

[Smalesh]

Если в лоб. Боты - это гости. -> закрыть раздел от гостей.

 

[Giness]

То есть если я закрыл

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

, то тема по адресу

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

, которая не имеет этого пути но находится в этой категории - не попадет в поиск? Это прям сто процентов?
Или Вы имеете ввиду, что если я его закрою от гостей настройками форума (Не роботс) то они не попадут в индексацию? На сколько я знаю, это приведет к присвоению страницы 403. А мне нужно полностью исключить это из индексации.

 

[Smalesh]

Если эта тема будет в закрытом гостей разделе - да, тема не может быть проиндексирована ботами. Если тема будет в открытом разделе - то нет, тема может быть проиндексирована ботами. КО.

 

[Giness]

Уточню. Если я настроил доступ к форуму: Модераторы и Администраторы - не нужно прописывать в роботс? Простите за мою назойливость, но мне не нужно, чтобы бот яндекс находил эту тему и присваивал эту ошику 403 к этой теме. Так происходит, если аккаунты не скрыть в robots.txt а сделать их не видимыми для гостей.

 

[hirowatch]

Если я настроил доступ к форуму: Модераторы и Администраторы - не нужно прописывать в роботс?

Нет

Простите за мою назойливость, но мне не нужно, чтобы бот яндекс находил эту тему и присваивал эту ошику 403 к этой теме.

а ты в игнор поставь

 

[Giness]

User-agent: Yandex
Disallow: /?
Disallow: /account
Disallow: /account-confirmation
Disallow: /activity
Disallow: /ads.txt
Disallow: /admin
Disallow: /advertising
Disallow: /album
Disallow: /announcement
Disallow: /approval-queue
Disallow: /archive
Disallow: /attachment
Disallow: /attachments
Disallow: /awards
Disallow: /bitrix
Disallow: /calendar
Disallow: /categories
Disallow: /connected_account
Disallow: /conversations
Disallow: /converse
Disallow: /cmd
Disallow: /css
Disallow: /cookies
Disallow: /data
Disallow: /dbtech-ecommerce
Disallow: /editpost
Disallow: /email-stop
Disallow: /external
Disallow: /faq
Disallow: /find-threads
Disallow: /forum
Disallow: /forums
Disallow: /forumdisplay
Disallow: /F0
Disallow: /FX
Disallow: /gallery
Disallow: /goto
Disallow: /group
Disallow: /help
Disallow: /job
Disallow: /jum_payment_callback
Disallow: /id-obektov-samp
Disallow: /image
Disallow: /index.php?
Disallow: /inlinemod
Disallow: /install
Disallow: /internal_data
Disallow: /js
Disallow: /leaderboard
Disallow: /library
Disallow: /login
Disallow: /lost-password
Disallow: /member
Disallow: /memberlist
Disallow: /members
Disallow: /misc
Disallow: /mods
Disallow: /notifications
Disallow: /oembed
Disallow: /online
Disallow: /payment_callback
Disallow: /plugin
Disallow: /poll
Disallow: /postings
Disallow: /posts
Disallow: /printthread
Disallow: /profile
Disallow: /proxy
Disallow: /reports
Disallow: /resources
Disallow: /recommend_award
Disallow: /redirector
Disallow: /register
Disallow: /request_award
Disallow: /search
Disallow: /signup
Disallow: /showthread
Disallow: /sounds
Disallow: /src
Disallow: /styles
Disallow: /tags
Disallow: /threads -------------------------- Только вот это открыть. И будут только темы, которые разрешены правами раздела?????????????????????
Disallow: /topic
Disallow: /topmembers
Disallow: /uploads
Disallow: /unfurl
Disallow: /usernote
Disallow: /verify-admitad.txt
Disallow: /xmlsitemap
Disallow: /watched
Disallow: /whats-new
Disallow: /wiki
Host: site.ru
Sitemap:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[hirowatch]

Giness, не неси бред.

OFFTOP

Реакция не хватает кое какой.

 

[Giness]

hirowatch, Что значит не неси бред? Я интересуюсь на форуме, в разделе "технических вопросов". Именно для этих целей этот форум и создан. Если ты знаток, который предлагает поставить в "Игнор" ошибки - то это не факт полезности. Я прошу дать нормальное объяснение. Простое нормальное объяснение.

 

[hirowatch]

Giness, да яндекс тебе может выдаст что иконки сайта. хотя он есть.

Одно из ответов я напишу - для каждого администратора robots.txt свой.

 

[Giness]

Giness, да яндекс тебе может выдаст что иконки сайта. хотя он есть.

Одно из ответов я напишу - для каждого администратора robots.txt свой.

перечитал 12 раз. Не уловил смысла в ответе (Если я туплю - прошу простить)

 

[Smalesh]

чтобы бот яндекс находил эту тему и присваивал эту ошику 403 к этой теме

Бот присвоит тот ответ, который получит от сервера. И robots.txt здесь не причем.
Нужно ровно две вещи - закрыть то что нужно от гостей и думать головой.

 

[Giness]

Бот присвоит тот ответ, который получит от сервера. И robots.txt здесь не причем.
Нужно ровно две вещи - закрыть то что нужно от гостей и думать головой.

Что значит не причем?
Я закрываю аккаунты от просмотра гостями. Яндекс бот заходит как гость. Находит страницу, но ему пишет что "зарегистрируйтесь, чтобы увидеть .........." и он выдает что страница есть, но она недоступна "ограничена". Или вы не понимаете, что я хочу, или я не понимаю что вы пишите. Я не хочу чтоб в Яндексе было 90000 страниц 403. так же с темами, и тому подобное. Я так и не получил ответа на свой вопрос. Может тут есть более компетентные пользователи, чем просто "догадки". Я хочу чистую, нужную мне индексацию.

 

[Smalesh]

Я не хочу чтоб в Яндексе было 90000 страниц 403. так де с темами, и тому подобное

Тут или крестик снять или трусы одеть. Или открыть доступ гостям и ботам и получать 200 Ок или закрыть доступ гостям и получить 403.
Для тех кто в танке и на бронепоезде это все одно и тоже

https://xenforo.info/threads/блабла-robots-txt.40703/#post-357451
https://xenforo.info/threads/еще-чего-то-txt.40703/#post-357451
https://xenforo.info/threads/бумц.40703/#post-357451

Вперед, все это в robots.txt пихать. Флаг в руки и барабан на шею.

 

[Giness]

Тут или крестик снять или трусы одеть. Или открыть доступ гостям и ботам и получать 200 Ок или закрыть доступ гостям и получить 403.
Для тех кто в танке и на бронепоезде это все одно и тоже

https://xenforo.info/threads/блабла-robots-txt.40703/#post-357451
https://xenforo.info/threads/еще-чего-то-txt.40703/#post-357451
https://xenforo.info/threads/бумц.40703/#post-357451

Вперед, все это в robots.txt пихать. Флаг в руки и барабан на шею.

Какой ужас. Каким образом одно относится к другому? Вы хоть посмотрите что я спрашиваю и что Вы пишите. У меня, даже если просто подумать, то в robots.txt не стоит индексация постов. Хоть Вы их там миллион придумайте. Это уже исключено. Аккаунты - тоже уже исключены. Это я нашел как сделать судя по темам, которые тут. На этом форуме. За неделю все исчезло из Яндекса. Большое спасибо за это.
А для тех, кто на бронепоезде, как Вы там выразились. Вы представляете себе вообще нормальную настройку чего либо? Или у вас все делается через "Я так хачу, а па другому нихачу".
Если у Вас нет желания помочь, но есть огромное желание показать свою "дружелюбность" - то прошу Вас не отвечайте на это. Я хочу нормальный ответ от нормального проф.
Мне не нужно как нибудь. Закройте на это глаза. Не обращайте внимание и тому подобное - это можете оставить для своих проектов. Есть правила, созданные для нас поисковиками. И я бы хотел сделать так, чтоб мой проект - отвечал на эти правила нормально. А не "А вы их в игнор поставьте".

 

[Smalesh]

- Я ничего в этом не понимаю. Вы специалист. Вот вам деньги, расскажите, как правильно.
- Вот так правильно.
- Я не согласен.

Еще раз. Если убрать правило

Disallow: /threads -------------------------- Только вот это открыть. И будут только темы, которые разрешены правами раздела?????????????????????

то те темы, которые разрешены - получат 200/301/302. Те, которые не разрешены - получат 403. Те, которые не существуют, получат 404.

 

[Giness]

Урааааааааааааа. Спасибо. Вот теперь, все понятно. Доступным. Простым. Нормальным языком. Благодарочка.

А как тогда сделать, чтобы было только то, что нужно?
Может открыть именно тот раздел для индексации, который мне нужно?
Ну например:
Allow: /forums/Совместные-покупки-плагинов.79/

 

[hirowatch]

Урааааааааааааа. Спасибо. Вот теперь, все понятно. Доступным. Простым. Нормальным языком. Благодарочка.

А как тогда сделать, чтобы было только то, что нужно?
Может открыть именно тот раздел для индексации, который мне нужно?
Ну например:
Allow: /forums/Совместные-покупки-плагинов.79/

Allow: /forums/79/
Allow: /forums/бабаба.79/
Allow: /forums/1231234а.79/

Для тех кто в танке и на бронепоезде это все одно и тоже

 

[Smalesh]

Может открыть именно тот раздел для индексации, который мне нужно?

А причем тут раздел к теме? Это разные урлы

Вперед, все это* в robots.txt пихать

*это - весь массив всех тем, которые надо там что-то сделать. Причем темы можно переименовывать и т.д.

Если эта тема будет в закрытом гостей разделе - да, тема не может быть проиндексирована ботами. Если тема будет в открытом разделе - то нет, тема может быть проиндексирована ботами. КО.