Файл robots.txt

[кот]

Файл robots.txt – это очень важный файл, напрямую влияющий на качество индексации вашего сайта, а значит и на его поисковое продвижение. Именно поэтому вы должны уметь правильно оформлять, чтобы случайно не запретить к индексу какие-нибудь важные документы интернет-проекта. Какой идеальный robots.txt для ксена? или почти идиальный

 

[Hope]

Ну идельного роботса не существует. Здесь всё зависит от установленных дополнений и личных предпочтений...

Мне вот такой кажется оптимальным, но это на "голый" двиг:

Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/
Disallow: /login/
Disallow: /admin.php

 

[кот]

У меня такой стоит:

User-agent: *
Disallow: /account/
Disallow: /admin.php
Disallow: /conversations/
Disallow: /forums/*/?direction
Disallow: /forums/*/?order
Disallow: /js/
Disallow: /login/
Disallow: /login.php
Disallow: /logout/
Disallow: /members/
Disallow: /lost-password/
Disallow: /moderation-queue/
Disallow: /misc/
Disallow: /online/
Disallow: /search/
Disallow: /search.php
Disallow: /threads/*/poll
Disallow: /threads/*/reply
Disallow: /watched/

Может нужно что-то поменять?

 

[Hope]

Та не, вроде нормально, вот только, если добавить некоторые пункты, которые я написал выше, но это опять же по желанию всё.

 

[кот]

А что даст если дополнить

Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/

 

[Hope]

Закроет доступ к этим пунктам для роботов.

 

[кот]

Сейчас сделал такой:

User-agent: *
Disallow: /account/
Disallow: /admin.php
Disallow: /conversations/
Disallow: /forums/*/?direction
Disallow: /forums/*/?order
Disallow: /js/
Disallow: /login/
Disallow: /login.php
Disallow: /logout/
Disallow: /members/
Disallow: /lost-password/
Disallow: /moderation-queue/
Disallow: /misc/
Disallow: /online/
Disallow: /search/
Disallow: /search.php
Disallow: /threads/*/poll
Disallow: /threads/*/reply
Disallow: /watched/
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/
 
Host: *****

 

[Hope]

Ну и нормалёк. Возможно со временем что-то ещё добавиться. :)

 

[Ялта Турист]

сколько стоит заказать состовление у професионалов?

 

[Hope]

Так и спросите у профессионалов. Мы то тут при чём? :)

 

[luckyman]

Вот такой ещё вариант есть:

User-agent: *
Disallow: /account/
Disallow: /admin.php
#Disallow: /attachments/
#Disallow: /css.php
Disallow: /conversations/
#Disallow: /find-new/
Disallow: /forums/*/?direction
Disallow: /forums/*/?order
Disallow: /js/
#Disallow: /help/
Disallow: /login/
Disallow: /login.php
Disallow: /logout/
Disallow: /lost-password/
Disallow: /members/
Disallow: /moderation-queue/
Disallow: /misc/
Disallow: /online/
Disallow: /posts/
#Disallow: /recent-activity/
Disallow: /search/
Disallow: /search.php
Disallow: /threads/*/poll
Disallow: /threads/*/reply
Disallow: /watched/

 

[кот]

Чем лучше? какие плюсы и минусы?

 

[Hope]

А где написано, что он лучше? Тут написано, что это ещё один вариант. Говорю же: тут каждый для себя сам решает.

 

[Владимир Миронов]

чем отличается #Disallow от Disallow ?

 

[Hope]

# - это знак комментирования. Если этот знак есть - значит функция не работает, а если его убрать, то функция будет активна.

 

[Владимир Миронов]

# - это знак комментирования. Если этот знак есть - значит функция не работает, а если его убрать, то функция будет активна.

Я знал, что со знаком # работать не будет. Вот и подумал, что ошибка. А оказывается это временное отключение. Теперь ясно.
Вот только сразу возникают сомнения хорошо ли относятся к такому комментированию поисковики. В коде комментирование можно. А вот в этом файле, если что то ПС не понравится, то она и не будет брать во внимание остальное содержание файла.
Сеошники даже под каждый ПС пишут отдельно.

 

[Wrungel]

Текст роботов запрещает индексацию определённых файлов или папок. Разумно добавить такие разделы как login/loginю, password reset и корень хранилища файлов, если такие есть, а остальное мало кого интересует.

 

[X-Xen]

Вот пример моего robots.txt с учётом моих плагинов на форуме:

User-agent: *
Disallow: /register.html
Disallow: /attachments/
Disallow: /admin.php
Disallow: /birthdays/
Disallow: /find-new/
Disallow: /forums/*/?direction
Disallow: /forums/*/?order
Disallow: /forums/*/page-*?order
Disallow: /help/
Disallow: /login/
Disallow: /lost-password/
Disallow: /misc/
Disallow: /online/
Disallow: /posts/
Disallow: /register
Disallow: /search/
Disallow: /search.php
Disallow: /threads/*/poll
Disallow: /WhoHasVisited/
Disallow: /recent-activity/
Disallow: /advstats/
Disallow: /members/
Disallow: /BanList/
 
Host: URL моего сайта
 
Sitemap: Мой сайтмап

 

[Владимир Миронов]

в папке Sitemap появляются файлы:
sitemap.forums.1.xml.gz
sitemap.forums.pags.1.xml.gz
sitemap.threads.1.xml.gz
sitemap.threads.pags.1.xml.gz
sitemap.xml.gz

В robots.txt вроде все указывают путь к sitemap.xml.gz
хотя вес других файлов побольше.
Что делать с другими файлами? Как их подсунуть поисковикам? Можно ли в robots.txt указывать несколько ссылок к картам сайта или файл будет не рабочим для ПС?

 

[Hope]

Что делать с другими файлами?

А Вы откройте файл sitemap.xml.gz. В нём прописаны пути ко всем остальным файлам. :)