Файл robots.txt

ФАКЕР · 20 Окт 2023

akok написал(а):
немного страшилок.. дергануло меня выгрузить, все страницы которые болтаются в поиске яндекса, по результатам изучения родился вот такой вот франкештейн. Гарантировать, что верно, не буду, но "это" тоже имеет право на существование.

# robots.txt
User-agent: Bytespider
Disallow: /

User-agent: Yandex
Disallow: */rate$
Disallow: */filters$
Disallow: */reactions$
Disallow: */preview$
Disallow: */review$
Disallow: */insert-gif$
Disallow: */tag-auto-complete$
Disallow: */post-thread*
Disallow: /login/
Disallow: /admin.php
Disallow: /whats-new/
Disallow: /posts/
Disallow: /members/
Disallow: /goto/
Disallow: /search/
Disallow: /attachments/
Disallow: /lost-password/
Disallow: /forums/*/page*
Disallow: /account-confirmation/
Clean-param: order&direction
Clean-param: do&dlfileid
Clean-param: act&do&id
Clean-param: team

User-agent: *
Disallow: /login/
Disallow: /admin.php
Disallow: /whats-new/
Disallow: /posts/
Disallow: /members/
Disallow: /goto/
Disallow: /search/
Disallow: /attachments/
Disallow: /lost-password/
Disallow: */post-thread*

В общем не включайте обход по счетчикам.

Я страницы в форуме от 1 до 23000 заколхозил через эксель :D

Код:

Disallow: /page-5000/

23000 строк)

что означает?

Код:

Disallow: /forums/*/page*

такая:

Код:

Disallow: /page-5000/

дирректива не верная? я не закрыл страницы?

akok · 20 Окт 2023

ФАКЕР написал(а):
что означает?

Закрывает страницы пагинации в разделах от поиска.... хотя сейчас скорее всего рекомендует не индексировать эти страницы. Яндексу не нравились дубли заголовков.

ФАКЕР написал(а):
дирректива не верная? я не закрыл страницы?

В яндекс вебмастере есть неплохой тестер файла роботс.тхт. Насколько я помню у файла есть лимиты на размер в 500 КБ

bianchi · 19 Ноя 2023

Смотрю достаточно обширная тема. Подскажите на счёт закрытия от индексации страниц пагинации в Гугле и Яндексе. Стоит ли это делать? Так как в теории, ничего плохо-го в этом нет, ведь тема - это отдельная страница, а в разделе форума основная по сути первая страница, что логично, для того, что бы закрыть от индекса в Гугле и Яндекс, тем более что Яндекс ругается.
А что на счёт закрытия от индексации ссылок на посты такого плана

Код:

https://xenforo.info/threads/%D0%A4%D0%B0%D0%B9%D0%BB-robots-txt.466/post-468623

Disallow: /threads/*/post-*
Кто что думает для гугла и Яндекса?
И вообще чем это может грозить?
И страницы внутри темы ?
Стоит ли закрывать страницы внутри темы? (/threads/*/page-5)

bianchi · 19 Ноя 2023

А кто то может делал плагин Index Now под Яндекс и Гугл? Точнее переделывал ли текущий от Andy?
Речь об Indexing API

karinochka · 19 Ноя 2023

а зачем он вообще нужен..?

Brillias · 20 Ноя 2023

bianchi написал(а):
И вообще чем это может грозить?

Угрожать может только статья криминального кодекса РФ:)

bianchi · 20 Ноя 2023

karinochka написал(а):
а зачем он вообще нужен..?

karinochka, Если речь о robots.txt - то мы подсказываем поисковому роботу, что индексировать, а на что не тратить его ресурсы.
А если про indexing API, то мы отправляем поисковику сигнал, что у нас появилась новая страница, которую нужно проиндексировать, а если удаляем то и поисковой системе говорим, что страница удалена. Так наиболее эффективно индексируются страницы и обновляется инфа у поисковика.

Brillias написал(а):
Угрожать может только статья криминального кодекса РФ:)

Brillias, Если мы будем цеплять к формулировкам построения предложений и донесения сути через двойной смысл, у нас разговор не получится. Все же прекрасно поняли о чем речь. Когда вопрос был задан: "чем это может грозить?".

Все же хотелось бы услышать ответ на предыдущие два вопроса про:

Disallow: /threads/*/post-*
Переделывал ли кто-то текущий от Andy плагин Index Now? Речь об Indexing API
Стоит ли закрывать страницы внутри темы? (/threads/*/page-5)

CrazyHackGUT · 20 Ноя 2023

bianchi, а есть ли смысл закрывать ссылки на посты от индексации в тредах? Всё равно же там редирект висит.
И кажется Indexing API завезли в 2.3, так что смысла делать что-либо в этом плане для 2.х нет, только бэкпортить разве что.

bianchi · 20 Ноя 2023

CrazyHackGUT написал(а):
bianchi, а есть ли смысл закрывать ссылки на посты от индексации в тредах? Всё равно же там редирект висит.
И кажется Indexing API завезли в 2.3, так что смысла делать что-либо в этом плане для 2.х нет, только бэкпортить разве что.

Да яндекс ругается и смотрю в гугл залетает с переадресацией... Не знаю имеет ли смысл в темах закрыть, вот и спрашиваю, как лучше?
Для XF 2.3 по-моему только Bing сделали. (но не уверен, не изучал прям так детально что там в 2,3)

karinochka · 21 Ноя 2023

bianchi написал(а):
karinochka, Если речь о robots.txt - то мы подсказываем поисковому роботу, что индексировать, а на что не тратить его ресурсы.
А если про indexing API, то мы отправляем поисковику сигнал, что у нас появилась новая страница, которую нужно проиндексировать, а если удаляем то и поисковой системе говорим, что страница удалена. Так наиболее эффективно индексируются страницы и обновляется инфа у поисковика.

Brillias, Если мы будем цеплять к формулировкам построения предложений и донесения сути через двойной смысл, у нас разговор не получится. Все же прекрасно поняли о чем речь. Когда вопрос был задан: "чем это может грозить?".

Все же хотелось бы услышать ответ на предыдущие два вопроса про:

Disallow: /threads/*/post-*

Переделывал ли кто-то текущий от Andy плагин Index Now? Речь об Indexing API

Стоит ли закрывать страницы внутри темы? (/threads/*/page-5)

как все сложно, ужас

Sadorimatsu · 16 Янв 2024

Меня как-то задрало уведомление в вебмастере, что в указанных страницах нет мета-описание. В итоге, можно сказать психанул и пошёл в разнос и на удивление это помогло и даже индексация стала более точной.

Код:

User-agent: *
Disallow: /help/
Disallow: /register/
Disallow: /search/
Disallow: /members/
Disallow: /birthdays/
Disallow: /tags/
Disallow: /resources/
Disallow: /resources/featured
Disallow: /resources/categories/*/featured
Disallow: /resources/*/history
Disallow: /resources/*/?history
Disallow: /resources/*/updates
Disallow: /resources/*/?updates
Disallow: /resources/*/updates?
Disallow: /resources/?prefix
Disallow: /resources/?page
Disallow: /resources/*/extra
Disallow: /resources/*/reviews
Disallow: /resources/*/?reviews
Disallow: /resources/*/update/*/reactions
Disallow: /threads/*/?page
Disallow: /threads/*/reply
Disallow: /misc/
Disallow: /resources/authors/
Disallow: /whats-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/
Disallow: /login/
Disallow: /admin.php
Disallow: /?
Allow: /

Мой вариант блочит ботам все лишнее, делая акцент на страницы тем и ресурсов, ничего лишнего, да и на выдачу они всегда приоритет должны быть всегда. Учитывать им списки страниц, обновлений, рецензий и прочее лишний мусор, на выдаче никак нормально это не пропустят. Многие скажут, что не стоит на вебмастере обращать внимание на ошибку, что где-то нет мета-описания, в целом это мало на что влияет, однако по личному опыту убедился, что индексация без лишнего мусора идет быстрей и точно. Правда это лишь мой вариант эксперимента, ещё не раз думаю изменю, вырабатывая более эффективные варианты. Заморачиваться или нет, дело каждого. На оф.форум я бы не опирался в этом вопросе.

На офе например настройка такая:

Код:

User-agent: PetalBot
User-agent: AspiegelBot
User-agent: AhrefsBot
User-agent: SemrushBot
User-agent: DotBot
User-agent: MauiBot
User-agent: MJ12bot
Disallow: /community/

User-agent: Amazonbot
Disallow: /community/threads/*/reply

User-agent: *
Disallow: /community/whats-new/
Disallow: /community/account/
Disallow: /community/attachments/
Disallow: /community/goto/
Disallow: /community/posts/
Disallow: /community/login/
Disallow: /community/search/
Disallow: /community/admin.php
Allow: /

Sitemap: https://xenforo.com/community/sitemap.xml

Возникает вопрос, а есть ли смысл прописывать этих ботов, как у них на оф.форуме? Как считаете? И рекомендуется ли нам прописывать иначе на текущий момент?

Efremov · 16 Янв 2024

Я другого тут не пойму... Почему у них

Sadorimatsu написал(а):
Sitemap: xenforo.com/community/sitemap.xml

Разве в ксене карта не в .php?

Sadorimatsu · 16 Янв 2024

Efremov написал(а):
Разве в ксене карта не в .php?

Все верно, этот момент тоже не понял у них. Если проверить, то карта сайта всё равно будет выводится так же, как и при php, разницы и нет, что указать получается.

Dkf · 17 Янв 2024

Sadorimatsu написал(а):
Меня как-то задрало уведомление в вебмастере, что в указанных страницах нет мета-описание. В итоге, можно сказать психанул и пошёл в разнос и на удивление это помогло и даже индексация стала более точной.

Код:

User-agent: * Disallow: /help/ Disallow: /register/ Disallow: /search/ Disallow: /members/ Disallow: /birthdays/ Disallow: /tags/ Disallow: /resources/ Disallow: /resources/featured Disallow: /resources/categories/*/featured Disallow: /resources/*/history Disallow: /resources/*/?history Disallow: /resources/*/updates Disallow: /resources/*/?updates Disallow: /resources/*/updates? Disallow: /resources/?prefix Disallow: /resources/?page Disallow: /resources/*/extra Disallow: /resources/*/reviews Disallow: /resources/*/?reviews Disallow: /resources/*/update/*/reactions Disallow: /threads/*/?page Disallow: /threads/*/reply Disallow: /misc/ Disallow: /resources/authors/ Disallow: /whats-new/ Disallow: /account/ Disallow: /attachments/ Disallow: /goto/ Disallow: /posts/ Disallow: /login/ Disallow: /admin.php Disallow: /? Allow: /

Мой вариант блочит ботам все лишнее, делая акцент на страницы тем и ресурсов, ничего лишнего, да и на выдачу они всегда приоритет должны быть всегда. Учитывать им списки страниц, обновлений, рецензий и прочее лишний мусор, на выдаче никак нормально это не пропустят. Многие скажут, что не стоит на вебмастере обращать внимание на ошибку, что где-то нет мета-описания, в целом это мало на что влияет, однако по личному опыту убедился, что индексация без лишнего мусора идет быстрей и точно. Правда это лишь мой вариант эксперимента, ещё не раз думаю изменю, вырабатывая более эффективные варианты. Заморачиваться или нет, дело каждого. На оф.форум я бы не опирался в этом вопросе.

На офе например настройка такая:

Код:

User-agent: PetalBot User-agent: AspiegelBot User-agent: AhrefsBot User-agent: SemrushBot User-agent: DotBot User-agent: MauiBot User-agent: MJ12bot Disallow: /community/ User-agent: Amazonbot Disallow: /community/threads/*/reply User-agent: * Disallow: /community/whats-new/ Disallow: /community/account/ Disallow: /community/attachments/ Disallow: /community/goto/ Disallow: /community/posts/ Disallow: /community/login/ Disallow: /community/search/ Disallow: /community/admin.php Allow: / Sitemap: https://xenforo.com/community/sitemap.xml

Возникает вопрос, а есть ли смысл прописывать этих ботов, как у них на оф.форуме? Как считаете? И рекомендуется ли нам прописывать иначе на текущий момент?

Эти боты может никогда и не зайдут на твой сайт…
Их тысячи, десятки тысяч.
CloudFlare по умолчанию что-то сама блокирует из этих ботов.
Я забил

akok · 25 Авг 2024

Для версии 2.3
1. Если у вас включена функция Enable embed code sharing, то, наверное, стоит запретить индексирование /api/oembed/, а то яндекс активно лазит, попали ли эти ссылки в индекс, будет понятно через пару дней.
2. Если включили поддержку IndexNow, то правилом хорошего тона будет разрешить индексацию /posts/, т.к. bing не принимает ссылки, ругаясь на запрет в robots.txt

akok · 26 Авг 2024

3. /misc/style-variation - активно сканируется, часть из них уже 400 ошибкой, по версии сканера,
В коде главной <a href="/misc/style-variation" rel="nofollow", в коде самой страницы
<meta name="robots" content="noindex" />
Так, что только если робот задалбывать будет.

akok · 29 Дек 2024

akok написал(а):
3. /misc/style-variation - активно сканируется, часть из них уже 400 ошибкой, по версии сканера,

даже не взирая на просьбу в robots.txt, google держит множество ошибок в индексе
/misc/style-variation?reset=

"решил" правкой шаблоне, запретив индексацию страниц с ошибками, теперь вопрос, не пережестил ли я?

Код:

<xf:if is="$template == 'error'">
    <meta name="robots" content="noindex" />
</xf:if>

Efremov · 29 Дек 2024

akok написал(а):
даже не взирая на просьбу в robots.txt, google держит множество ошибок в индексе

Для них это не исключительный запрет. Они его видят, но не придерживаются. Это просто для них как предупреждение, но не правило которого они будут придерживаться.

Sadorimatsu · 26 Фев 2025

Проводил некоторые тесты с настройкой прав доступа ботам и пришёл к такому успешному рабочему варианту: (можете себе тупо копи-паст сделать, с правкой адреса на свой домен, вариант рабочий по дефолту)

Код:

User-agent: *
Disallow: /admin.php
Disallow: /whats-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /search/
Disallow: /members/
Disallow: /lfs/
Disallow: /login/
Disallow: /help/
Disallow: /goto/
Disallow: /misc/
Disallow: /birthdays/
Disallow: /tags/
Disallow: /threads/*/reply
Disallow: /conversations/
Disallow: /lost-password/
Disallow: /online/
Disallow: /register/
Disallow: /misc/style?*
Disallow: /cdn-cgi/
Allow: /
Host: https://основной_адрес/
Sitemap: https://основной_адрес/sitemap.xml

User-agent: Yandex
Clean-param: tab_id
Clean-param: page
Clean-param: order
Clean-param: direction
Clean-param: _debug
Clean-param: update
Clean-param: accept
Clean-param: reject
Clean-param: direction
Clean-param: prefix_id
Clean-param: content&user_id
Disallow: /admin.php
Disallow: /whats-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /search/
Disallow: /members/
Disallow: /lfs/
Disallow: /login/
Disallow: /help/
Disallow: /goto/
Disallow: /misc/
Disallow: /birthdays/
Disallow: /tags/
Disallow: /threads/*/reply
Disallow: /conversations/
Disallow: /lost-password/
Disallow: /online/
Disallow: /register/
Disallow: /misc/style?*
Disallow: /cdn-cgi/
Allow: /

User-agent: YandexNews
Allow: /forums/-/index.rss

User-agent: Googlebot
Disallow: /admin.php
Disallow: /whats-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /search/
Disallow: /members/
Disallow: /lfs/
Disallow: /login/
Disallow: /help/
Disallow: /goto/
Disallow: /misc/
Disallow: /birthdays/
Disallow: /tags/
Disallow: /threads/*/reply
Disallow: /conversations/
Disallow: /lost-password/
Disallow: /online/
Disallow: /register/
Disallow: /misc/style?*
Disallow: /cdn-cgi/
Allow: /

Googlebot-News
Allow: /forums/-/index.rss

User-agent: Mediapartners-Google
Disallow: /

В своём случае я позволил индексировать сообщения (посты), темы и ресурсы. Всё остальное не разрешать т.к. нет смысла. Потому что XF призван плодить дубли на пустом месте и яндексу это очень не нравится.
Если вы не хотите индексировать сообщения, то просто вырубите их:
Disallow: /posts/
Но как говорят, рекомендуется их не запрещать от версии XF 2.3, если там включено IndexNow, тут я не совсем понимаю почему, требуется уточнение, но при открывании их на XF 2.2 я проблем не ощутил, если прописаны должные правила.
Если вам нужно сделать фильтр роутинг дефолтного наименования на другое, то приведу пример:
например /resources/ на /mods/, то обязательно закройте дефолтное наименование, чтобы не создавать дубли с одним источником с разными наименованием, например с ресурсов на моды сделать так:
Disallow: /resources/
Тем самым старое наименование будет игнорироваться и будет идти по доступному, там вы можете провести любой фильтра роутинга, кто не понял, что это и где, то найдёте в консоли тут admin.php?route-filters/
Думаю из списка будет вопрос, зачем блокировать отдельно Mediapartners-Google, потому что этот бот отвечает за работу рекламы гугла, а точней за ADS, если не пользуйтесь рекламой, в РФ это сейчас актуально, то рекомендуется его вырубать, если же пользуетесь, то наоборот включите или удалите с настройки.

И наконец главный вопрос, как быть с дублями основных URL и как с этим бороться? Это когда видим такие же URL, но с припиской page, prefix, tab_id, _debug и т.д. Для решения нам нужно Clean-param. Как этим пользоваться, вам внятно никто не пояснит и в

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

и не совсем понятна будет многим. Для решения, я могу предложить 2 сервиса, которые способны анализировать ваши адреса для выявление нужных переменных для написания правила:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация
- могу рекомендовать, мне очень помог. По основным параметрам анализа Clean-param вам поможет.
У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация
- этот ничем не хуже первого, однако мне понравилось, что в нём есть учёт и для написания UTM-меток, Yandex Direct, Google Ads и может кому надо для Битрикса.

Мне удалось значительно сократить проблему с дублями, однако полностью вопрос дублей это не решит, потому что с основными адресами вы ничего не сделаете. Для этого нужен плагин SEO для прямого изменения мета заголовка и мета-описания на каждый раздел. Да, задача неприятная, но решить это как-то не представляется иначе возможным, если знаете, то поделитесь. Нужно ли это учитывать для гугла... не знаю, пока не разбирал вопрос, но и жалоб на это он сам не давал, тут смотрите сами в консоли гугла.

Поможет ли мой вариант настройки вам? В большей степени да, но оно тоже не идеальное и требует некоторой думаю доработки, но по крайне мере меньше головной боли вам точно будет.

Конечно, вы можете забить на всё это и ничего не делать, тут выбор за вами.

P.S. Настройка подойдёт, если у вас форум установлен на основной домен, но если ставите форум к уже существующему сайту, как поддомен, например ваш_домен/forum/, то в robots.txt на всё должно быть так:

Код:

User-agent: *
Disallow: /forum/admin.php
Disallow: /forum/whats-new/
Disallow: /forum/account/
Disallow: /forum/attachments/
Disallow: /forum/search/
Disallow: /forum/members/
Disallow: /forum/lfs/
Disallow: /forum/login/
Disallow: /forum/help/
Disallow: /forum/goto/
Disallow: /forum/misc/
Disallow: /forum/birthdays/
Disallow: /forum/tags/
Disallow: /forum/threads/*/reply
Disallow: /forum/conversations/
Disallow: /forum/lost-password/
Disallow: /forum/online/
Disallow: /forum/register/
Disallow: /forum/misc/style?*
Disallow: /forum/cdn-cgi/
Allow: /forum/
Host: https://основной_адрес/forum
Sitemap: https://основной_адрес/forum/sitemap.xml

User-agent: Yandex
Clean-param: tab_id
Clean-param: page
Clean-param: order
Clean-param: direction
Clean-param: _debug
Clean-param: update
Clean-param: accept
Clean-param: reject
Clean-param: direction
Clean-param: prefix_id
Clean-param: content&user_id
Disallow: /forum/admin.php
Disallow: /forum/whats-new/
Disallow: /forum/account/
Disallow: /forum/attachments/
Disallow: /forum/search/
Disallow: /forum/members/
Disallow: /forum/lfs/
Disallow: /forum/login/
Disallow: /forum/help/
Disallow: /forum/goto/
Disallow: /forum/misc/
Disallow: /forum/birthdays/
Disallow: /forum/tags/
Disallow: /forum/threads/*/reply
Disallow: /forum/conversations/
Disallow: /forum/lost-password/
Disallow: /forum/online/
Disallow: /forum/register/
Disallow: /forum/misc/style?*
Disallow: /forum/cdn-cgi/
Allow: /forum/

User-agent: YandexNews
Allow: /forum/forums/-/index.rss

User-agent: Googlebot
Disallow: /forum/admin.php
Disallow: /forum/whats-new/
Disallow: /forum/account/
Disallow: /forum/attachments/
Disallow: /forum/search/
Disallow: /forum/members/
Disallow: /forum/lfs/
Disallow: /forum/login/
Disallow: /forum/help/
Disallow: /forum/goto/
Disallow: /forum/misc/
Disallow: /forum/birthdays/
Disallow: /forum/tags/
Disallow: /forum/threads/*/reply
Disallow: /forum/conversations/
Disallow: /forum/lost-password/
Disallow: /forum/online/
Disallow: /forum/register/
Disallow: /forum/misc/style?*
Disallow: /forum/cdn-cgi/
Allow: /forum/

Googlebot-News
Allow: /forum/forums/-/index.rss

User-agent: Mediapartners-Google
Disallow: /forum/

Adguest · 26 Фев 2025

Sadorimatsu написал(а):
Проводил некоторые тесты с настройкой прав доступа ботам и пришёл к такому успешному рабочему варианту: (можете себе тупо копи-паст сделать, с правкой адреса на свой домен, вариант рабочий по дефолту)

Код:

User-agent: * Disallow: /admin.php Disallow: /whats-new/ Disallow: /account/ Disallow: /attachments/ Disallow: /search/ Disallow: /members/ Disallow: /lfs/ Disallow: /login/ Disallow: /help/ Disallow: /goto/ Disallow: /misc/ Disallow: /birthdays/ Disallow: /tags/ Disallow: /threads/*/reply Disallow: /conversations/ Disallow: /lost-password/ Disallow: /online/ Disallow: /register/ Disallow: /misc/style?* Disallow: /cdn-cgi/ Allow: / Host: https://основной_адрес Sitemap: https://основной_адрес/sitemap.xml User-agent: Yandex Clean-param: tab_id Clean-param: page Clean-param: order Clean-param: direction Clean-param: _debug Clean-param: update Clean-param: accept Clean-param: reject Clean-param: direction Clean-param: prefix_id Clean-param: content&user_id Disallow: /admin.php Disallow: /whats-new/ Disallow: /account/ Disallow: /attachments/ Disallow: /search/ Disallow: /members/ Disallow: /lfs/ Disallow: /login/ Disallow: /help/ Disallow: /goto/ Disallow: /misc/ Disallow: /birthdays/ Disallow: /tags/ Disallow: /threads/*/reply Disallow: /conversations/ Disallow: /lost-password/ Disallow: /online/ Disallow: /register/ Disallow: /misc/style?* Disallow: /cdn-cgi/ Allow: / User-agent: YandexNews Allow: /forums/-/index.rss User-agent: Googlebot Disallow: /admin.php Disallow: /whats-new/ Disallow: /account/ Disallow: /attachments/ Disallow: /search/ Disallow: /members/ Disallow: /resources/ Disallow: /lfs/ Disallow: /login/ Disallow: /help/ Disallow: /goto/ Disallow: /misc/ Disallow: /birthdays/ Disallow: /tags/ Disallow: /threads/*/reply Disallow: /conversations/ Disallow: /lost-password/ Disallow: /online/ Disallow: /register/ Disallow: /misc/style?* Disallow: /cdn-cgi/ Allow: / Googlebot-News Allow: /forums/-/index.rss User-agent: Mediapartners-Google Disallow: /

В своём случае я позволил индексировать сообщения (посты), темы и ресурсы. Всё остальное не разрешать т.к. нет смысла. Потому что XF призван плодить дубли на пустом месте и яндексу это очень не нравится.
Если вы не хотите индексировать сообщения, то просто вырубите их:
Disallow: /posts/
Но как говорят, рекомендуется их не запрещать от версии XF 2.3, если там включено IndexNow, тут я не совсем понимаю почему, требуется уточнение, но при открывании их на XF 2.2 я проблем не ощутил, если прописаны должные правила.
Если вам нужно сделать фильтр роутинг дефолтного наименования на другое, то приведу пример:
например /resources/ на /mods/, то обязательно закройте дефолтное наименование, чтобы не создавать дубли с одним источником с разными наименованием, например с ресурсов на моды сделать так:
Disallow: /resources/
Тем самым старое наименование будет игнорироваться и будет идти по доступному, там вы можете провести любой фильтра роутинга, кто не понял, что это и где, то найдёте в консоли тут admin.php?route-filters/
Думаю из списка будет вопрос, зачем блокировать отдельно Mediapartners-Google, потому что этот бот отвечает за работу рекламы гугла, а точней за ADS, если не пользуйтесь рекламой, в РФ это сейчас актуально, то рекомендуется его вырубать, если же пользуетесь, то наоборот включите или удалите с настройки.

И наконец главный вопрос, как быть с дублями основных URL и как с этим бороться? Это когда видим такие же URL, но с припиской page, prefix, tab_id, _debug и т.д. Для решения нам нужно Clean-param. Как этим пользоваться, вам внятно никто не пояснит и в
У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация
и не совсем понятна будет многим. Для решения, я могу предложить 2 сервиса, которые способны анализировать ваши адреса для выявление нужных переменных для написания правила:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация
- могу рекомендовать, мне очень помог. По основным параметрам анализа Clean-param вам поможет.

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация
- этот ничем не хуже первого, однако мне понравилось, что в нём есть учёт и для написания UTM-меток, Yandex Direct, Google Ads и может кому надо для Битрикса.

Мне удалось значительно сократить проблему с дублями, однако полностью вопрос дублей это не решит, потому что с основными адресами вы ничего не сделаете. Для этого нужен плагин SEO для прямого изменения мета заголовка и мета-описания на каждый раздел. Да, задача неприятная, но решить это как-то не представляется иначе возможным, если знаете, то поделитесь. Нужно ли это учитывать для гугла... не знаю, пока не разбирал вопрос, но и жалоб на это он сам не давал, тут смотрите сами в консоли гугла.

Поможет ли мой вариант настройки вам? В большей степени да, но оно тоже не идеальное и требует некоторой думаю доработки, но по крайне мере меньше головной боли вам точно будет.

Конечно, вы можете забить на всё это и ничего не делать, тут выбор за вами.

Это у вас на xf 2.3.x такой robots ?

Файл robots.txt

Мы ценим вашу конфиденциальность