В продолжении темы Robots.txt

[Chuck Norris]

Друзья поделитесь вашими роботсами)

Мой:

User-agent: *
Disallow: /community/find-new/
Disallow: /community/forums/-/
Disallow: /community/account/
Disallow: /community/attachments/
Disallow: /community/goto/
Disallow: /community/posts/
Disallow: /community/login/
Disallow: /community/admin.php
Disallow: /account/
Disallow: /admin.php
Disallow: /conversations/
Disallow: /forums/*/?direction
Disallow: /forums/*/?order
Disallow: /js/
Disallow: /login/
Disallow: /login.php
Disallow: /logout/
Disallow: /members/
Disallow: /lost-password/
Disallow: /moderation-queue/
Disallow: /misc/
Disallow: /online/
Disallow: /search/
Disallow: /search.php
Disallow: /threads/*/poll
Disallow: /threads/*/reply
Disallow: /watched/
Allow: /

Host: сайт.ру/

Sitemap:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Что еще можно добавить?

 

[Captain]

:facepalm: Этого достаточно

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[tnAnGel]

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

обязательно для просмотра, чтобы не было вопросов

 

[Hope]

Знаю движки, которыми этот файл даже не предусмотрен, как и карта сайта, и ничего, живут, и развиваются. :)

 

[Обжигающий Иней]

Все ненужные страницы пс сам выкинет с индекса рано или поздно. Желательно использовать rel="canonical" дабы не было проблем.