robots.txt - Инструкции и секреты настройки

[Sadorimatsu]

Народ, забудьте про правило вообще, выкиньте и забудье. Я ужасно не внимательный
Disallow: /threads/*/page-* оказывается в коде есть учёт заголовка на новые страницы, тока приписываетя в коде как Страница 2 и название форума и так далее. Если посты не прикреплять (через плагин), то будет чёткий учет контента, но если прикреплять, то будет одно и тоже мета описание.

А вот и пример работы без этого правила.

Короче, если у вас используется плагин на закрепление поста в теме, то требуется исключение закрепленного поста из обработки в коде страницы, чтобы он учёл пост ниже, лишь тогда работать будет как надо. Это уже задача для исполнителя. В противном случае, ошибки на дубли будете ловить всегда на этих темах.

Всё работает, как надо. Я банально не заметил у себя, потому что у меня в коде смещен заголовок и сразу не попало в поле зрение.

Чуть позже напишу решение с заголовками на префиксы. Чтобы они перед ним не вставали у вас на выдаче в поиске.

 

[akok]

еще можно посмотреть в сторону, яндекс выдал
****/resources/categories/******/filters

 

[Sadorimatsu]

еще можно посмотреть в сторону, яндекс выдал
****/resources/categories/******/filters

В коробке ниразу не ловил учёт на filters. У вас случаем на фильтры плагина нет какого-нибудь? Например RMS Filter by AddonsLab

 

[akok]

не ставил.

 

[Sadorimatsu]

не ставил.

К сожалению не проверю на данный момент. Но, если требуется, то пропишите у себя запрет на него, уж чего, но его индексировать точно не надо. Мне больше интересно, как он попадает у вас под фильтр, я даже сам вызвать такую ссылку не могу.

 

[akok]

сам удивлен, закрою в robots. Хотя возможно, что это из-за того, что гостям разрешено скачивать ресурсы из этих разделов

 

[Sadorimatsu]

akok, ха, а вы правы, я не так проверял. Действительно выводит страницу фильтрации...

Пример

Так что да, надо блочить, добавлю в шаблон.

 

[CHEL74]

Поимал дубли из-за вкладок ресурса (дополнительные поля ресурсов):
/resources/27/field?field=settings
Но не знаю, стоит ли закрывать для индексации. У меня, к примеру, там настройки, команды, API, языковые файлы дополнений. В теории, могут ввести запрос с командой и попасть на сайт мой, прочитать описание. Думаю, надо через правку шаблона лучше решать

 

[Sadorimatsu]

CHEL74, зайдите во вкладку, откройте код страницы и скажите, что там видите и проверьте другие вкладки и сравните заголовок и описание, если разные, то оставляйте, а нет, то лучше блокировать. Да и зачем вам открывать вкладки, когда основной путь до ресурса у вас открыт. Любые вкладки на ресурсы рекомендую блочить, потому что они дублируют данные от основной страницы ресурса.

 

[CHEL74]

CHEL74, зайдите во вкладку, откройте код страницы и скажите, что там видите и проверьте другие вкладки и сравните заголовок и описание, если разные, то оставляйте, а нет, то лучше блокировать. Да и зачем вам открывать вкладки, когда основной путь до ресурса у вас открыт.

Я уже посмотрел заголовки, на которые Яндекс ругался и нашёл их в шаблоне. Там такой формат:
<xf:title>{{ prefix('resource', $resource, 'escaped') }}{$resource.title} - {{ phrase('xfrm_extra_info') }}</xf:title>

То есть, "Название ресурса - Дополнительная информация"

Не удивительно, почему дубли) Если 2 и больше вкладок дополнительных у ресурса, то у них одинаковый заголовок. Подставил вместо фразы xfrm_extra_info название вкладки:
<xf:title>{{ prefix('resource', $resource, 'escaped') }}{$resource.title} - {$fieldDefinition.title}</xf:title>

 

[akok]

Disallow: /forums/*/page-*

сделал через модификацию шаблонов и на выходе получается примерно так

<meta property="twitter:description" content="Получите помощь в удалении вирусов, троянов, adware, malware и другого вредоносного ПО. Следуйте правилам оформления запроса, чтобы быстро получить необходимую помощь. - страница 5" />

 

[Sadorimatsu]

сделал через модификацию шаблонов и на выходе получается примерно так

Изначально список тем на форумах берут заголовок от первой темы в списке, а вот описание нет, он берет от узла и смена страницы не влияет. Так что правило имеет место быть т.к. вызывает дубли. Да и напрашивается вопрос, откуда ему брать описание? Конечно, если актуально добавить учёт страниц, как в заголовке, то да, правило становится бессмысленным

Так что поправить шаблон, решает данную проблему, стоит рассмотреть. Но тоже, это из разряда уже кастомных решений, а мы говорим про вариант с коробки.

Вообще, если так задуматься, чтобы следовать требованию алгоритма, то нужно шаблоны ковырять и настраивать выдачу и через модификатор править сами шаблоны.

P.S. Если есть вариант предложить модификатор шаблона для доработки выдачи алгоритма, то смело предлагайте.

 

[Sadorimatsu]

CHEL74, в принципе, вы можете попробовать решить эту проблему, путем правки шаблона через модификатор, но так ли это нужно, уже другой вопрос. Попробуйте и поделитесь потом впечатлениями, как на это отреагирует обход.

 

[CHEL74]

@CHEL74, в принципе, вы можете попробовать решить эту проблему, путем правки шаблона через модификатор

Я выше описал, что я сделал. Заголовок успешно поменялся, посмотрел по вкладке браузера. Яндекс, очевидно, перестанет ругаться.

 

[Sadorimatsu]

Я выше описал, что я сделал. Заголовок успешно поменялся, посмотрел по вкладке браузера. Яндекс, очевидно, перестанет ругаться.

Потом расскажите, как яндекс и гугл это схавает.

 

[Sadorimatsu]

Есть проблемы, поставьте в блоке яндекс:
Disallow: /attachments/
Мне казалось, что в яндексе полезно будет открыть, но когда увидел этот ужас, то лучше закрыть от греха подальше.

Спойлер

Так же есть подозрение, что правило Disallow: /*?t= влияет на проверку стилей т.к. после, как внёс запрет напрямую в оба блока, мне вебмастер резко начал ругаться, что главная страница не оптимизирована под мобильную версию. Лучше удалите его на оба блока.

Спойлер

Что тут сказать, методом проб и ошибок, подводим к более продуманным правилам.

 

[CHEL74]

Есть проблемы, поставьте в блоке яндекс:
Disallow: /attachments/
Мне казалось, что в яндексе полезно будет открыть, но когда увидел этот ужас, то лучше закрыть от греха подальше.

Спойлер

Посмотреть вложение 161570

Так же есть подозрение, что правило Disallow: /*?t= влияет на проверку стилей т.к. после, как внёс запрет напрямую в оба блока, мне вебмастер резко начал ругаться, что главная страница не оптимизирована под мобильную версию. Лучше удалите его на оба блока.

Спойлер

Посмотреть вложение 161571

Что тут сказать, методом проб и ошибок, подводим к более продуманным правилам.

Эти изменения вносятся во вкладку обновлений?

---

И ещё, всё-таки решил я закрыть от индексации вкладки. В моём случае потому, что там не уникальный контент будет из-за копипаста конфигов, API и т. д. Этого на других сайтах навалом. Как будет выглядеть правило? Вот так?

Disallow: /resources/*/field?field=*

 

[Sadorimatsu]

Эти изменения вносятся во вкладку обновлений?

Да.

И ещё, я всё-таки решил я закрыть от индексации вкладки. В моём случае потому, что там не уникальный контент будет из-за копипаста конфигов, API и т. д. Этого на других сайтах навалом. Как будет выглядеть правило? Вот так?

Disallow: /resources/*/field?field=*

Я уже писал правила на базовые вкладки:

Disallow: /resources/*/history
Disallow: /resources/*/reviews
Disallow: /resources/*/updates

Если у вас кастомная, то указываем её аналогично основным и будет блокироваться.

 

[CHEL74]

Если у вас кастомная, то указываем её аналогично основным и будет блокироваться.

У кастомных немного другой формат. Вот как пример:
/resources/name/field?field=settings

 

[Sadorimatsu]

У кастомных немного другой формат. Вот как пример:
/resources/name/field?field=settings

Это запретит любые URL в /resources/, где есть field.
Disallow: /resources/*?field=
Это запретит все URL, где /field в конце.
Disallow: /resources/*/field
Добавьте 1 из вариантов и в Инструменты - Анализ robots.txt проверьте любой живой ресурс с подобным URL, он покажет то ли он заблочил или нет.
У меня доп. вкладки помечаются как extra по типу как оригиналы, потому таких проблем нет, как у вас.