XF 2.2 Noindex в sitemap.php

[toor]

Я пытался найти ответ, но не нашел. Можете порофлить, если хотите, я разрешаю)

Добавляю я sitemap в гугл, вроде все ок, только не нравится гуглу. Недолго думая, посмотрел sitemap.php через api клиент, а там в заголовках x-robots-tag: noindex

Полные заголовки

Статус: 200 OK

server: nginx/1.14.1
date: Fri, 11 Feb 2022 20:02:40 GMT
content-type: application/xml; charset=utf-8
x-powered-by: PHP/7.3.17
x-frame-options: SAMEORIGIN
x-robots-tag: noindex
content-disposition: inline; filename="sitemap.xml"
strict-transport-security: max-age=31536000;

UPD: нашел в рендерере sitemap этот заголовок, на сколько правильно закомментировать эту строку?

 

[Smalesh]

на сколько правильно закомментировать эту строку?

Зависит от того, нужен ли тебе /sitemap.php в поисковой выдаче или нет.

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[toor]

Но проблема в том, что даже, когда я специально добавляю sitemap, гугл не хочет её смотреть

 

[Smalesh]

Но проблема в том, что даже, когда я специально добавляю sitemap, гугл не хочет её смотреть

Если в access.log ответ валиден - то значит брезгует. А x-robots-tag нужен для поискового бота, чтобы не жрал сайтмап с его линками. Т.е. не нужно мешать форуму работать.

 

[toor]

Если в access.log ответ валиден - то значит брезгует. А x-robots-tag нужен для поискового бота, чтобы не жрал сайтмап с его линками. Т.е. не нужно мешать форуму работать.

В логах ответ валиден, яндекс пишет, что sitemap нормальный, другой сайт (не помню уже какой) тоже

 

[Smalesh]

В логах ответ валиден, яндекс пишет, что sitemap нормальный,

И какая же взаимосвязь между xml-кой сайтмапа и x-robots-tag?

 

[toor]

И какая же взаимосвязь между xml-кой сайтмапа и x-robots-tag?

Такая, что гугл упорно не хочет есть этот сайтмап и единственное, на что я могу грешить - x-robots-tag

 

[Smalesh]

на что я могу грешить - x-robots-tag

Мимо.

x-robots-tag нужен для поискового бота,

Сайтмап (xml-ка) не содержит никаких noindex, это раз. Второе - сайтмапом занимается другой бот, с robots.txt он берет только расположение файла. Третье - если бот пришел и сожрал сайтмап, дальше вопросы либо к боту, либо к содержимому xml (см п.1). Четвертое - если движок специально не ломать, технических проблем (заголовки и т.д.) для гугла нет

"GET /sitemap.php HTTP/1.1" 200 190 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
"GET /sitemap-1.xml HTTP/1.1" 200 1976163 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
"GET /sitemap-2.xml HTTP/1.1" 200 404824 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

И так далее. Результаты поиска по запросу: sitemap.php

 

[toor]

Сайтмап (xml-ка) не содержит никаких noindex

Noindex в заголовках, написал же

не ломать, технических проблем (заголовки и т.д.) для гугла нет

Код движка не трогал вообще

Последнее, что в голову приходит - то, что сейчас идет перенос форума на новый домен (sitemap с которого я и указал)

 

[Smalesh]

Noindex в заголовках, написал же

Принципиально не читаешь то, что тебе пишут, или оно само так получается.

А x-robots-tag нужен для поискового бота, чтобы не жрал сайтмап с его линками.

Сайтмап (xml-ка) не содержит никаких noindex, это раз

сайтмапом занимается другой бот

 

[toor]

Принципиально не читаешь то, что тебе пишут, или оно само так получается.




Посмотреть вложение 135982

Про то, что сайтмапом занимается другой бот я понял, вопрос в том, что гуглу не нравится и почему он не принимает сайтмап. Хотя сейчас я получу ответ, что с сайтмапом все ок и проблема у гугла

 

[Smalesh]

Ответ будет

И какая же взаимосвязь между xml-кой сайтмапа и x-robots-tag?

И линк на поиск

 

[toor]

И линк на поиск

То, что она может появиться в поисковой выдаче без x-robots-tag я тоже знаю, и лезть в код движка не хочу. Видимо, ответа на вопрос, почему сайтмап не нравится, не будет. К тому же, я почитал, что у гугла такое бывает

 

[Smalesh]

Видимо, ответа на вопрос, почему сайтмап не нравится, не будет

Ответ на заданный вопрос дан исчерпывающий. Копай в другом месте (очередной линк на поиск) и не мешай форуму работать.