Файл robots.txt

А я про что говорю? Это отдельный сайт и файл должен находится в его корне, а не в корне абсолютно другого сайта.
Ну значит я поддержал эту точку зрения.
 
Всем привет. Настроил данный файл,закинул на сервер и при переходе на site.ru/robots.txt вылезает ошибка:
Not Found
The requested URL /robots.txt was not found on this server.

Apache/2.2.22 (@RELEASE@) Server at ******** Port 80
 

Вложения

  • 2016-04-27_15-14-05.png
    2016-04-27_15-14-05.png
    12 KB · Просмотры: 81
А тэги никто не запрещает?
Disallow: /tags/
из за них появляются дубли страниц в Гугле.
 
Devider, смотря что за сайт. Если на нём мильон страниц разумно добавить теги, облегчит навигацию пользователям и повысит пов-й фактор. Ну а для пары страниц нафиг нада?
Настройте скрипт чтоб дописывал к title тегу через пробел "заметка" или пометка или я хз.
 
Я имел ввиду для поисковиков скрыть. Потому что в индексе оказываются дубли страниц по ссылке на тему и по тэгу.
 
Вот пример моего robots.txt с учётом моих плагинов на форуме:
Код:
User-agent: *
Disallow: /register.html
Disallow: /attachments/
Disallow: /admin.php
Disallow: /birthdays/
Disallow: /find-new/
Disallow: /forums/*/?direction
Disallow: /forums/*/?order
Disallow: /forums/*/page-*?order
Disallow: /help/
Disallow: /login/
Disallow: /lost-password/
Disallow: /misc/
Disallow: /online/
Disallow: /posts/
Disallow: /register
Disallow: /search/
Disallow: /search.php
Disallow: /threads/*/poll
Disallow: /WhoHasVisited/
Disallow: /recent-activity/
Disallow: /advstats/
Disallow: /members/
Disallow: /BanList/

Host: URL моего сайта

Sitemap: Мой сайтмап

самое оно,у меня почти такой
 
По моему сейчас похрен на роботс всем включая пс? Вот он вроде не индекстит, но индекстит.
 
А тэги никто не запрещает?
Disallow: /tags/
из за них появляются дубли страниц в Гугле.
Вас не затруднит показать пример дублей, вызванных индексацией тэгов?

Вот он вроде не индекстит, но индекстит.
Глубокая мысль.
 
Мне кажется, что Вам кажется. :-)
Я Вас знать не знаю, на кой Вы мне сдались?
 
Последнее редактирование:
Палю тему
User-Agent: *
Disallow: /login
Disallow: /lost-password
Disallow: /online
Disallow: /search
Disallow: /help
Disallow: /find-new
Disallow: /index.php
Disallow: /goto
Disallow: /posts
Sitemap:
Host:
 
Последнее редактирование:
Современный облачный хостинг провайдер | Aéza
Назад
Сверху Снизу