XF 1.5 Проблемы с robots.txt

[evgen583]

Ребята доброго времени суток, помогите пожалуйста, что может быть в robots.txt
не так, гуглу почему то не нравится вот скриншот


Вот сам robots.txt

User-agent:
Disallow: /admin
Disallow: /images
Disallow: *direction*
Disallow: *order*
Disallow: *.rss*
Disallow: /error/
Disallow: /stats/
Disallow: /register
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/
Disallow: /login/
Disallow: /admin.php
Disallow: /online/
Disallow: /members/
Disallow: /recent-activity/
Disallow: /find-new/profile-posts
Disallow: /tags/
Disallow: /help/
Disallow: /texnicheskaja-podderzhka.131/

Host: мой сайт.ru

Sitemap: http://мой сайт.ru/sitemap.php

 

[Nappsel]

evgen583, может потому что User-agent: * ? :)

 

[evgen583]

evgen583, может потому что User-agent: * ? :-)

А как правильно должно подскажите

 

[Nappsel]

evgen583, я же уже подсказал. Звездочку поставьте в конце, это значит что правила ниже относятся ко всем поисковым роботам. Или после двоеточия пропишите нужных вам роботов: Yandex, Google и т.д.

 

[evgen583]

Nappsel, Спасибо, поставил звездочку, а она что делает, если не трудно подскажите.

 

[Nappsel]

evgen583, опять же писал выше. Повторюсь:
User-agent: * - применять правила disallow и allow ко всем поисковым роботам.
User-agent: YandexBot - применять правила disallow и allow только к поисковому боту яндекса.
Таким образом можно для каждого бота настроить разную индексацию страниц, если это требуется. Вот отличные статьи от

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

и

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

, почитайте если интересно на досуге.