К XF 2.3 это не относится. Он вшит в ядро. Это для, тех у кого нет адаптации. Можно конечно ключ вытащить и поставить по рекомендации, но разницы не будет. Вы можете лично в этом убедиться. Вытащите свой ключ, и без вставки в корень текстовика с ним, проверьте сразу работу без него и после с ним. Разницы не будет.
Disallow: /*#post-
https://ВАШ_ДОМЕН/index.php?resources/%D0%A9%D0%B8%D1%82-%D0%98%D1%81%D0%B3%D1%80%D0%B0%D0%BC%D0%BE%D1%80%D0%B0-%D0%B2%D0%BE%D0%B3%D0%BD%D1%83%D1%82%D1%8B%D0%B9.149/update/163/reactionsDisallow: /index.php?resources/Disallow: /resources/, но как вижу, недостаточно./resources/*/update/*/reactions, в моём случае у меня стоит так /mods/*/update/*/reactions
/posts/, а этого делать с 2.3 не рекомендуется при включении IndexNow. Тем самым, полезные комментарии никуда не денутся.Disallow: /posts/*/reactions, как раз закрывать надо, это мусор.А, вон оно как работает. Хорошо, благодарю за разъяснение.
Потому что он и не учитывает их и будет игнорить, но только он, а вот другие нет. Если вас смущают ошибки, то вы просто можете создать блок для гугла, как у яндекса и прописать аналогичные правила с общего, но убрав оттуда Crawl-delay и Clean-param, тогда он будет их игнорировать и читать тока свой блок. Ведь в приоритете будет он.
К сожалению, реакции новорегам недоступны, поэтому могу поблагодарить только текстом. Спасибо, так и сделаю)
Добавил вот это:
User-agent: Googlebot
Disallow: /account/
Disallow: /attachments/
Disallow: /admin.php
Disallow: /birthdays/
Disallow: /cdn-cgi/
Disallow: /conversations/
Disallow: /forums/*/page-*
Disallow: /featured/
Disallow: /goto/
Disallow: /help/
Disallow: /lfs/
Disallow: /login/
Disallow: /lost-password/
Disallow: /members/
Disallow: /misc/
Disallow: /misc/cookies
Disallow: /misc/style-variation
Disallow: /misc/style?*
Disallow: /resources/authors/*/
Disallow: /resources/*/history
Disallow: /resources/*/reviews
Disallow: /resources/*/updates
Disallow: /resources/*/update/*/reactions
Disallow: /resources/categories/*/featured
Disallow: /resources/*?prefix_id=
Disallow: /online/
Disallow: /posts/*/reactions
Disallow: /register/
Disallow: /search/
Disallow: /tags/
Disallow: /threads/*/page-*
Disallow: /threads/*/reply
Disallow: /threads/*/who-replied/
Disallow: /whats-new/
Disallow: /*?accept=
Disallow: /*?_debug=
Disallow: /*?reject=
Disallow: /*?update=
Allow: /css/
Allow: /js/
Allow: /styles/
Как это может быть дублем при разном содержимом?
Переход на
posts/PID приведет к перенаправлению на threads/TID/page-N/#post-PID, в этом случае сообщения будут проиндексированы или все же правило тоже применится? Сообщение может быть отображено через posts/PID/show, но из коробки на эту страницу приводит только кнопка отображения удаленного сообщения.
Если говорить конкретно о том правиле
Disallow: /threads/*/page-*, то он блокирует "страницы", а не темы, не посты, а страницы тем, которые имеют из общего тока заголовок от форума и его мета описания, больше ничего. Полезности 0, дубли 100%.Воспроизвёл правило и честно, я не увидел, чтобы он его блокировал, от слова совсем ничего. Что по прямому
/posts/ что /forums/posts/, хотя на офе такое правило у них прописано, я не думал его проверять, раз указано, а выходит оно избыточно. Вот если прописать Disallow: /*post-, то он будет блочить любой созданный пост. Если прописать это Disallow: /*#post-, то вообще заблочит абсолютно всё (темы, ресурсы, посты), как недавно сам убедился. Так что, ваши доводы не беспочвенны. Хорошо, что обратили внимание, наглядно проверил.
Он ругается на то, что вы вообще ему заблокировали всё это.
Как у себя проверил, он как раз ругается мне на то, что я блокирую и у яндекса. В принципе, можете игнорить, а можете открыть ему всё, хотя до изменений, у вас видимо и было всё открыто, но он всё равно ругался. Сложно судить алгоритмы гугла, требует дополнительного разбора. Пока, могу посоветовать добавить в свой robots, шаблон, который вы найдёте во вкладке "Обновление", вот прям смело можете ставить полностью и уже в течении недели увидите первые результаты и приятные. По гуглу не скажу, ему вечно всё не нравится.
До него руки тоже дойдут, просто он пока не в приоритете.
posts/* нет смысла оставлять — там нет ничего полезного для ботов. Но вот смысла в блокировке страниц темы я не нахожу, так как дублирования там нет (за исключением первого сообщения при некоторых типах тем).
