Ругается Яндекс Вебмастер

[Usta]

У меня такой же вопрос по XF 2, где их необходимо указать? Настройки - основная информация о форуме, все описано и заполнено, метки ко всем темам поставлены, разделы и подразделы так же имеют точное описание - форум переносился с vB 4 и там не было у Яндекса никаких вопросов.
Посмотрел эти страницы, все они относятся к страничкам тегов:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

сайт/tags/название страницы/ или например профайлы юзеров.

 

[freeorel]

У меня такой же вопрос по XF 2, где их необходимо указать? Настройки - основная информация о форуме, все описано и заполнено, метки ко всем темам поставлены, разделы и подразделы так же имеют точное описание - форум переносился с vB 4 и там не было у Яндекса никаких вопросов.
Посмотрел эти страницы, все они относятся к страничкам тегов:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

сайт/tags/название страницы/ или например профайлы юзеров.

Поддерживаю вопрос, как решается с XF 2.

 

[Efremov]

У меня такой же вопрос по XF 2, где их необходимо указать? Настройки - основная информация о форуме, все описано и заполнено, метки ко всем темам поставлены, разделы и подразделы так же имеют точное описание - форум переносился с vB 4 и там не было у Яндекса никаких вопросов.
Посмотрел эти страницы, все они относятся к страничкам тегов:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

сайт/tags/название страницы/ или например профайлы юзеров.

Поддерживаю вопрос, как решается с XF 2.

в robots.txt закрыли?

 

[SoundMonster]

Вот вроде плагин Brivium - Metadata Essential

 

[Zend]

Alexander228, смотря на каких страницах. Если дерево узлов, то как выше писали Metadate Essential + в самих узлах прописать описание.
Есть страницы типо тегов, профилей, стилей, posts и поиске, то такие страницы обычно закрывают от поисковых роботов в файле robots.txt

 

[freeorel]

Есть страницы типо тегов, профилей, стилей, posts и поиске, то такие страницы обычно закрывают от поисковых роботов в файле robots.txt

Спасибо за ответ. :)
Вот мой, посмотрите, может что добавить или убавить?

robots.txt

# robots.txt
User-agent: Yandex
Crawl-delay: 2.0
User-agent: *
Crawl-delay: 4.5
Disallow: /register.html
Disallow: /attachments/
Disallow: /birthdays/
Disallow: /find-new/
Disallow: /forums/*/?direction
Disallow: /forums/*/?order
Disallow: /forums/*/page-*?order
Disallow: /help/
Disallow: /login/
Disallow: /lost-password/
Disallow: /members/
Disallow: /misc/
Disallow: /online/
Disallow: /pages/privacy/
Disallow: /posts/
Disallow: /recent-activity/
Disallow: /register
Disallow: /search/
Disallow: /search.php
Disallow: /threads/*/poll
Disallow: /WhoHasVisited/

Host:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Sitemap:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[Usta]

Есть страницы типо тегов, профилей, стилей, posts и поиске, то такие страницы обычно закрывают от поисковых роботов в файле robots.txt

Теги закрыть? Не думаю что это хорошая идея. Вот их как раз закрывать - очень противопоказано. А ошибки именно на теги.

 

[Zend]

freeorel, пожалуйста. Вообще если взять даже офф. форум или этот, можно увидеть какие пути они закрывают в своем файле robots, пример:

Disallow: /community/find-new/
Disallow: /community/account/
Disallow: /community/attachments/
Disallow: /community/goto/
Disallow: /community/posts/

Но иногда это настраивается индивидуально, я например закрываю гораздо больше, зависит даже от аддонов и доп. урлов, которые они создают.

 

[Usta]

Ответ каким должен быть файл робота можно увидеть на офф. сайте ксенки -

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[freeorel]

Поправил у себя, спасибо всем :) !

 

[Вредитель]

Ответ каким должен быть файл робота можно увидеть на офф. сайте ксенки -

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

А ты не думаешь, что под разные поисковые системы файл роботс может иметь разные строки и изза этого в англоязычных форумах нет тех строк, которые надо внести для форумов ориентирующихся в том числе и на яндекс?

 

[freeorel]

А ты не думаешь, что под разные поисковые системы файл роботс может иметь разные строки и изза этого в англоязычных форумах нет тех строк, которые надо внести для форумов ориентирующихся в том числе и на яндекс?

Какие дополнительные строки предложите в robots.txt

 

[Zend]

freeorel, какраз первая строка:
User-agent: *
говорит использовать правила для всех поисковиков, а когда хотят разделить пишут так:

Для Яндекса:
User-agent: Yandex

Для Гугла:
User-agent: GoogleBot

Но я бы не стал сильно замарачиваться с этим ) Ставьте для всех (*) и вносите нужные правила, посмотрите пример у этого форума.

 

[Usta]

А ты не думаешь, что под разные поисковые системы файл роботс может иметь разные строки и изза этого в англоязычных форумах нет тех строк, которые надо внести для форумов ориентирующихся в том числе и на яндекс?

Раньше, года 4 назад это было актуально, т.к. яшка сильно отличался от гугла, но в последнее время даже HOST стал не нужен, как и разделение на роботов. Сейчас у яшки только дна проблема, он не понимает images - хотя вот прямо сейчас проверил, он и их уже не ставит в ошибки sitemap.php - поэтому не стоит ничего усложнять, ставьте дефолтный роботс от разработчиков XF и все будет отлично.

 

[Usta]

Задумался насчет отключения Disallow: /community/posts/ - зачем это ограничение? Что оно дает?
Неделю назад разрешил роботам сканировать /attachments/ - фото сразу пошли в индекс, нафига их скрывать не понимаю.
У Google есть пояснение к robots.txt - где предлагается делать как можно меньше ограничений, он самостоятельно решит, что ему надо вносить в индексацию, а что нет, но какой смысл вносить исключения, если это только сыграет на ухудшение индексации. Если говорить про скорость обхода или нагрузку при обходе роботом, то Google обходит сайт очень быстро, выкачивает с большой скоростью, как в принципе и Яндекс, так что ограничения, что бы снизить нагрузку - не имеет смысла.

 

[Graf450]

Приветствую всех.
Тэги при этом никто не закрывает? В вебмастере яндекс ругается, что у них нет description. Просто игнорируем?

 

[Hope]

Привет. Игнорирует, собственно, как и другие рекомендации от Яндекс. :)