Файл robots.txt

[Smalesh]

А я про что говорю? Это отдельный сайт и файл должен находится в его корне, а не в корне абсолютно другого сайта.

Ну значит я поддержал эту точку зрения.

 

[1K2]

Всем привет. Настроил данный файл,закинул на сервер и при переходе на site.ru/robots.txt вылезает ошибка:

Not Found
The requested URL /robots.txt was not found on this server.

Apache/2.2.22 (@RELEASE@) Server at ******** Port 80

 

[Обжигающий Иней]

1K2, значит не туда закинули :)

 

[1K2]

26bezsexa, Не,все правильно. В корень.

 

[Обжигающий Иней]

1K2, ошибка Not Found - файл не найден.

 

[1K2]

26bezsexa, :smoke:

 

[pro100nes]

Sergey Miroshnichenko,
Сяп, перенес в forum.site.ru

 

[Devider]

А тэги никто не запрещает?
Disallow: /tags/
из за них появляются дубли страниц в Гугле.

 

[Обжигающий Иней]

Devider, смотря что за сайт. Если на нём мильон страниц разумно добавить теги, облегчит навигацию пользователям и повысит пов-й фактор. Ну а для пары страниц нафиг нада?
Настройте скрипт чтоб дописывал к title тегу через пробел "заметка" или пометка или я хз.

 

[Devider]

Я имел ввиду для поисковиков скрыть. Потому что в индексе оказываются дубли страниц по ссылке на тему и по тэгу.

 

[Обжигающий Иней]

Devider, ну если хотите скрывайте, кто как хочет. :)

 

[Ratni]

Вот пример моего robots.txt с учётом моих плагинов на форуме:

User-agent: *
Disallow: /register.html
Disallow: /attachments/
Disallow: /admin.php
Disallow: /birthdays/
Disallow: /find-new/
Disallow: /forums/*/?direction
Disallow: /forums/*/?order
Disallow: /forums/*/page-*?order
Disallow: /help/
Disallow: /login/
Disallow: /lost-password/
Disallow: /misc/
Disallow: /online/
Disallow: /posts/
Disallow: /register
Disallow: /search/
Disallow: /search.php
Disallow: /threads/*/poll
Disallow: /WhoHasVisited/
Disallow: /recent-activity/
Disallow: /advstats/
Disallow: /members/
Disallow: /BanList/

Host: URL моего сайта

Sitemap: Мой сайтмап

самое оно,у меня почти такой

 

[Hope]

Ratni, мы рады за Вас, держите нас в курсе всех изменений!

 

[Обжигающий Иней]

По моему сейчас похрен на роботс всем включая пс? Вот он вроде не индекстит, но индекстит.

 

[oxeo]

А тэги никто не запрещает?
Disallow: /tags/
из за них появляются дубли страниц в Гугле.

Вас не затруднит показать пример дублей, вызванных индексацией тэгов?

Вот он вроде не индекстит, но индекстит.

Глубокая мысль.

 

[Ratni]

Ratni, мы рады за Вас, держите нас в курсе всех изменений!

как то вы все время себя стараетесь по....нуть меня ,вам мистер не кажется ?

 

[Hope]

Мне кажется, что Вам кажется. :-)
Я Вас знать не знаю, на кой Вы мне сдались?

 

[Ratni]

Мне кажется, что Вам кажется. :-)
Я Вас знать не знаю, на кой Вы мне сдались?

это хорошо это радует

 

[blackbizws]

А тэги никто не запрещает?
Disallow: /tags/
из за них появляются дубли страниц в Гугле.

теги надо оформлять микроразметкой. Например shema.org

 

[oxeo]

Палю тему
User-Agent: *
Disallow: /login
Disallow: /lost-password
Disallow: /online
Disallow: /search
Disallow: /help
Disallow: /find-new
Disallow: /index.php
Disallow: /goto
Disallow: /posts
Sitemap:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Host:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация