Файл robots.txt

Владимир Миронов · 4 Май 2013

О, буду знать. А то раньше не заглядывал в него.

maxdam · 27 Июн 2013

Можно указывать на sitemap, если не боитесь парсеров.

kopukum · 6 Авг 2013

Код:

User-agent: Mediapartners-Google

Disallow:
User-agent: *
Disallow: /account*
Disallow: /help*
Disallow: /misc/style*
Disallow: /misc/quick-navigation-menu*
Disallow: /login*
Disallow: /logout*
Disallow: /lost-password*
Disallow: /register*
Disallow: /reports*
Disallow: /search*
Disallow: /conversations*
Disallow: /css.php
Disallow: /admin.php
Disallow: /js
Disallow: /styles
Disallow: /attachments/*
Disallow: /online/*
Disallow: /recent-activity/*

Sitemap: http://www.xxx.com/sitemap/sitemap.xml.gz

Edit.

luckyman · 6 Авг 2013

kopukum, файла Disallow: /cron.php, начиная с версии 1.2.0 не существует в сборке.

Doc1982 · 26 Сен 2013

Некоторые настойчиво рекомендуют прописывать user-agent отдельно для яндекса.

Velocity · 22 Окт 2013

Make sure you add

Код:

Crawl-Delay: 10

To your robots.txt otherwise you can get massive amounts of bots literally pounding your site, also this helps too:

Robots.txt Validator

Код:

http://tool.motoricerca.info/robots-checker.phtml

I don't speak russian, pardon me for my english.

Valdes · 7 Ноя 2013

Вот мой Robots здесь важно закрывать или не закрывать тот или иной раздел сайта только от тематики форума но мне кажется что пользователей стоит закрывать от индексации однозначно кто что скажет по етому поводу

User-agent: *
Disallow: /account/
Disallow: /admin.php
#Disallow: /attachments/
#Disallow: /css.php
Disallow: /conversations/
#Disallow: /find-new/
Disallow: /forums/*/?direction
Disallow: /forums/*/?order
Disallow: /js/
#Disallow: /help/
Disallow: /login/
Disallow: /login.php
Disallow: /logout/
Disallow: /lost-password/
Disallow: /members/
Disallow: /moderation-queue/
Disallow: /misc/
Disallow: /online/
Disallow: /posts/
#Disallow: /recent-activity/
Disallow: /search/
Disallow: /search.php
Disallow: /threads/*/poll
Disallow: /threads/*/reply
Disallow: /watched/

lev76g · 7 Ноя 2013

# robots.txt
User-agent: *
Disallow: /register.html
Disallow: /forum/attachments/
Disallow: /forum/birthdays/
Disallow: /forum/find-new/
Disallow: /forum/forums/*/?direction
Disallow: /forum/forums/*/?order
Disallow: /forum/forums/*/page-*?order
Disallow: /forum/help/
Disallow: /forum/login/
Disallow: /forum/lost-password/
Disallow: /forum/members/
Disallow: /forum/misc/
Disallow: /forum/online/
Disallow: /forum/pages/privacy/
Disallow: /forum/posts/
Disallow: /forum/recent-activity/
Disallow: /forum/register
Disallow: /forum/search/
Disallow: /forum/search.php
Disallow: /forum/threads/*/poll
Disallow: /forum/WhoHasVisited/

Host:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Sitemap:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Этого вполне достаточно, что бы не парить себе мозгг )

Valdes · 7 Ноя 2013

lev76g написал(а):
# robots.txt
User-agent: *
Disallow: /register.html
Disallow: /forum/attachments/
Disallow: /forum/birthdays/
Disallow: /forum/find-new/
Disallow: /forum/forums/*/?direction
Disallow: /forum/forums/*/?order
Disallow: /forum/forums/*/page-*?order
Disallow: /forum/help/
Disallow: /forum/login/
Disallow: /forum/lost-password/
Disallow: /forum/members/
Disallow: /forum/misc/
Disallow: /forum/online/
Disallow: /forum/pages/privacy/
Disallow: /forum/posts/
Disallow: /forum/recent-activity/
Disallow: /forum/register
Disallow: /forum/search/
Disallow: /forum/search.php
Disallow: /forum/threads/*/poll
Disallow: /forum/WhoHasVisited/

Host:
У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Sitemap:
У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Сам форум лежит в под папке forum у вас

lev76g · 7 Ноя 2013

я просто скинул пример

вот как у них по стандарту и этого вполне достаточено

перебейте директивы как у Вас и делов то )

можно еще добавить

User-agent: *
Disallow: /community/find-new/
Disallow: /community/account/
Disallow: /community/attachments/
Disallow: /community/goto/
Disallow: /community/posts/
Disallow: /community/login/
Disallow: /community/admin.php
Allow: /

kolala · 7 Ноя 2013

что интересно, что на ксенфоро инфо роботс почти пустой:sleep:

lev76g · 7 Ноя 2013

User-agent: *
Crawl-delay: 10
Disallow: /admin.php
Disallow: /internal_data/
Disallow: /install/
Disallow: /css.php
Disallow: /admindav.php
Disallow: /styles/
Disallow: /library/
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/
Disallow: /login/
Allow: /

Elnick · 3 Дек 2013

Зачем все блокируют /posts/ ? вроде как нерабочая часть[DOUBLEPOST=1386098730,1384637398][/DOUBLEPOST]Мда, ошибался - блокировать нужно т.к. к примеру гугл

Страницы с повторяющимся метаописаниемСтраницы
/posts/30/
/threads/О-правах-фотографов-что-и-когда-можно-или-нельзя.11/2
/forums/Фотоаппараты-panasonic-micro-4-3.5/
/forums/fotoapparaty-panasonic-m-4-3.5/2
/posts/96/
/threads/ehffekty-pod-silu-li-takoe-sdelat-fotografu.74/2
/posts/84/
/threads/vybiraem-obektiv-dlja-fotoapparata.62/[DOUBLEPOST=1386098764][/DOUBLEPOST]Вообщем дублирует

becdelbnik · 25 Янв 2014

А если роботс.тхт вообще нет, какие последствия ?

Hope · 25 Янв 2014

Никаких. :)

becdelbnik · 25 Янв 2014

Hope написал(а):
Никаких. :-)

А зачем тогда все этот файл пихают к себе ? Не знаю как Гоша, а Яша то сам исключает из поиска всякую фигню !

Hope · 25 Янв 2014

Ну почитайте в Википедии. Лично я, нужды в этом не вижу. :)

ottokrauz · 15 Апр 2014

Вот мой robots.txt. только он для вордпресса, а форум у меня как страница (

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

сайт/forum) , не знаю надо что либо добавлять ? И вообще будет он влиять на форум или нет? Может вообще оставить как есть?

User-agent: *
Disallow: /cgi-bin
Disallow: /later
Disallow: /tours
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /tag/

Crawl-delay: 3
Host: мой сайт

Sitemap:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

сайт/sitemap.xml
Sitemap:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

сайт/sitemap.xml.gz

Если надо дописать подскажите?

manthraa · 21 Апр 2014

Просмотреть все предложения, которые я получил для моего сайта (конечно, язык Персидский) я использовал следующие настройки

Русский перевод : google translate :lol:

Код:

User-agent: *
Disallow: /account*
Disallow: /help*
Disallow: /misc/style*
Disallow: /misc/quick-navigation-menu*
Disallow: /login*
Disallow: /logout*
Disallow: /lost-password*
Disallow: /register*
Disallow: /reports*
Disallow: /search*
Disallow: /conversations*
Disallow: /css.php
Disallow: /cron.php
Disallow: /admin.php
Disallow: /js
Disallow: /styles
Disallow: /attachments/*
Disallow: /members/*
Disallow: /profile-posts/*
Disallow: /online/*
Disallow: /recent-activity/*
Disallow: /cgi-bin
Disallow: /cache
Disallow: /static
Disallow: /misc
Disallow: /help
Disallow: /index.php?help/*
Disallow: /index.php?misc/style*
Disallow: /index.php?members/*
Disallow: /index.php?online/*
Disallow: /index.php?XenStaff/*
Disallow: /index.php?register/*
Disallow: /index.php?search/*
Disallow: /index.php?login/*
Disallow: /index.php?lost-password/*
Disallow: /index.php?recent-activity/*
Disallow: /data
Disallow: /library
Disallow: /admindav.php
Disallow: /goto
Disallow: /posts
Disallow: /find-new

Sitemap: http://***/sitemap/sitemap.xml.gz

Arisu · 26 Июл 2014

Прилагаю свой с пояснениями:

Код:

User-agent: *
Disallow: /account/
Disallow: /account-confirmation/
# запретить доступ к роуту AFS
Disallow: /advstats/
Disallow: /attachments/
Disallow: /conversations/
Disallow: /edit-history/
Disallow: /editor/
Disallow: /find-new/
Disallow: /goto/
Disallow: /help/
Disallow: /inline-mod/
Disallow: /js/
Disallow: /login/
Disallow: /logout/
Disallow: /lost-password/
# юзеров не индексировать, только контент
Disallow: /members/
Disallow: /misc/
Disallow: /moderation-queue/
Disallow: /online/
Disallow: /posts/
Disallow: /profile-posts/
Disallow: /recent-activity/
Disallow: /register/
Disallow: /reports/
Disallow: /search/
Disallow: /spam-cleaner/
# закрыть результаты опросов
Disallow: /threads/*/poll
# закрыть особо флудные темы по id
Disallow: /threads/137/
Disallow: /threads/178/
Disallow: /warnings/
Disallow: /watched/
Disallow: /admin.php
Disallow: *?order
Disallow: *?direction
Disallow: *.rss

# запретить индексировать аватарки в Гугл-Картинках
User-agent: Googlebot-Image
Disallow: /data/avatars/

Файл robots.txt

maxdam

Мы ценим вашу конфиденциальность