Файл robots.txt

[somik]

А вообще какая стратегия составления robots.txt?
- Закрыть все кроме форумов с темами? Или что-то еще оставляете открытым?

 

[Sweeney]

А вообще какая стратегия составления robots.txt?
- Закрыть все кроме форумов с темами? Или что-то еще оставляете открытым?

На этот вопрос нету однозначного ответа. Обычно в robots.txt закрывают ту информацию которая дублируется по средствам движка и ту которая не должна попадать в поисковик по разным причинам.

Но если вы слабо представляете о чем я горю то лучше с robots.txt не играться это довольно мощный инструмент.

 

[wDine]

В роботсе должен быть код не только с запретами, но и также с ссылкой на sitemap, на главное зеркало сайта

 

[Рей Донован]

Если запретить
attachments, то соответственно перестанет индексировать "Картинки" получается? они же как вложение идут если на сервак грузить себе.

 

[Hope]

Если у Вас запрещено скачивание вложений гостями, то роботы и так не видят картинки, загруженные на сервер.

 

[Рей Донован]

Если у Вас запрещено скачивание вложений гостями, то роботы и так не видят картинки, загруженные на сервер.

А если гостям все же разрешено "скачивание вложение гостям"?

 

[Hope]

Значит все видят картинки-вложения.

 

[Smalesh]

Вот вам к обсуждению

Сейчас пришел с одного проекта, шабашил по серверным делам, там в robots.txt добавлено правило

Disallow: /*.php$

Как пояснили: правило запрещает индексацию всех файлов с расширением php - так как работает ЧПУ, версии ссылок с php только добавляют дубли.

 

[pro100nes]

Если форум стоит на субдомене, правильно файл класть в корень сайта или в папку субдомена?

 

[Hope]

В корень.

 

[pro100nes]

Hope,
Спасибо :-)

 

[Sergey Miroshnichenko]

В корень.

Субдомен это ведь самостоятельный сайт. site.ru к forum.site.ru не имеет никакого отношения. Я бы положил в папку соответственно субдомена. То есть в корень сайта forum.site.ru. А для site.ru уже свой robots должен быть, но я так понял pro100nes спрашивает конкретно про robots.txt для форума.

 

[Hope]

это ведь самостоятельный сайт. site.ru

Если так, то конечно в его корень нужно класть, но если сайт по адресу сайт.ру/форум, то файл нужно класть в корень сайт.ру.

 

[Sergey Miroshnichenko]

Если так, то конечно в его корень нужно класть, но если сайт по адресу сайт.ру/форум, то файл нужно класть в корень сайт.ру.

Ну да, это понятно. Но речь то шла о

субдомене

:-)

 

[Hope]

Все их называют по разному... Субдомены, поддомены, ещё как-то, мне гадать особо некогда. :)

 

[Smalesh]

Все их называют по разному... Субдомены, поддомены, ещё как-то, мне гадать особо некогда. :-)

С точки зрения поисковой системы - это домен такого-то уровня. И robots.txt должен лежать в корне это домена, пусть он даже будет sub.vasya.stepa.lexa.yura.com.ru

 

[Hope]

А я про что говорю? Это отдельный сайт и файл должен находится в его корне, а не в корне абсолютно другого сайта.

 

[Sergey Miroshnichenko]

forum.site.ru и т.д. - это

Субдомены, поддомены

и это синонимы:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

А это

сайт.ру/форум

субдиректория или подпапка.

 

[Hope]

Блин, поучите меня ещё... :-D В народе их называют по-разному. Значит нужно вопрос ставить конкретнее. :-) Да и так понятно, что forum.site.ru - это отдельный сайт, на который нужен отдельный robots.txt

 

[Sergey Miroshnichenko]

А я про что говорю?

Всё правильно вы говорите, просто вопрос был сформулирован так:

Если форум стоит на субдомене, правильно файл класть в корень сайта или в папку субдомена?

И ответ

В корень.

именно в конспекте данного вопроса - не есть верный. ))

Да и так понятно, что forum.site.ru - это отдельный сайт, на который нужен отдельный robots.txt

Только не автору вопроса... ))