XF 2.2 Роботы заходят на скрытую страницу.

[ASKIT]

Привет.
Тут Яндекс решил зайти на страницу "Что нового", хотя я её скрыл из элементов навигации, это можно как-то исправить?

 

[akok]

Индексирование по яндекс метрике включено?

 

[ASKIT]

Индексирование по яндекс метрике включено?

Нет.

 

[West14]

ASKIT, это вам чем-то мешает?

 

[lukamal]

Привет.
Тут Яндекс решил зайти на страницу "Что нового", хотя я её скрыл из элементов навигации, это можно как-то исправить?
Посмотреть вложение 133251

Робот видит сообщение

Упс! Мы столкнулись с некоторыми проблемами. Запрашиваемая страница не найдена.​

Наведите мышку на треугольник.

 

[ASKIT]

ASKIT, это вам чем-то мешает?

Слышал что роботы ограничены в индексации страниц, допустим, 1 робот может проиндексировать только 10 страниц, а затем уходит с сайта. Вот поэтому хотелось бы избавиться от "холостых" переходов на страницы.

 

[West14]

ASKIT, я в вопросе сео некомпетентен, но роботы неглупые вроде как и понимают, что если сервер вернул 403, значит им там не место.

 

[ASKIT]

ASKIT, я в вопросе сео некомпетентен, но роботы неглупые вроде как и понимают, что если сервер вернул 403, значит им там не место.

Да, но, это минус потенциальная проиндексированная страничка, вроде как.

 

[Efremov]

В robots поставить nofolow.

 

[john_j]

В robots поставить nofolow.

Уже давно эта директива носит рекомендательный характер для ПС.
Узнав о существовании страницы, роботы всё равно будут на неё заходить, а вот запрет на индексирование размещается на самой странице, в meta.

Что-бы запретить ПС индексировать страницу "Что нового", нужно в шаблоне whats_new им это указать, например добавив в шаблон:
<xf:head option="robots"><meta name='robots' content='noindex, follow' /></xf:head>