XF 2.2 Просматривает неизвестную страницу

[smc]

Заметил такую картину, что на многих гостях начала появляться вот такая тема. По форуму вбил и инфы вроде нет.
Подскажите, пожалуйста, как с этим бороться и нужно ли?

 

[anastasiya]

Я думаю, просматривает удаленную страницу. Потому что там восклицательный знак, он ничего не видит.

 

[Efremov]

Всем привет. Не стал создавать дубль.
Таже самая хрень происходит. Форум с нуля, добавлен в гугл и яндекс. Ссылки из поисковиков верные, но в стате все гости и роботы в том числе, видят неизвестную страницу. И это уже не первый день наблюдаю. Кто ещё сталкивался с такой проблемой?

 

[ZloyDed]

Efremov, пытаются посмотреть страницу, к которой у них нет прав.

 

[Sadorimatsu]

Очевидно, что боты смотрят то, что не нужно или сканируют сайт по базовым адресам и натыкаются на не существующие. И подобными запросами страдает РНР на их обработку и возврату.
И когда таких запросов много, один такой сервер где-то тихо плачет.

 

[Mr_panica]

Можешь попробовать поставить этот плагин [XFSkins] Online Activity URL

 

[Efremov]

Можешь попробовать поставить этот плагин [XFSkins] Online Activity URL

Спасибо большое. Будем смотреть куда они все "тыкаются"...

 

[tnoxp]

Efremov, пытаются посмотреть страницу, к которой у них нет прав.

Проводил "углубленный" анализ таких ботов и заметил что они просто сканируют весь контент форума подряд, но делают это по порядковым айди постов и тем. Поэтому в момент когда им не хватает прав, они и получают это сообщение. Зачем кто-то парсит по айди - в упор не понимаю. Может кто-то знаком с каким-то софтом, что работает по такой модели?

 

[LEGENDARY]

Проводил "углубленный" анализ таких ботов и заметил что они просто сканируют весь контент форума подряд, но делают это по порядковым айди постов и тем. Поэтому в момент когда им не хватает прав, они и получают это сообщение. Зачем кто-то парсит по айди - в упор не понимаю. Может кто-то знаком с каким-то софтом, что работает по такой модели?

Парсят контент для обучения ИИ моделек

 

[tnoxp]

Парсят контент для обучения ИИ моделек

Это понятно :) Непонятно, почему идут по id постов и тем, а не просто по доступным ссылкам вглубь.

 

[LEGENDARY]

Это понятно :) Непонятно, почему идут по id постов и тем, а не просто по доступным ссылкам вглубь.

Это быстрее и выше вероятность пробежаться по всем темам, а не залипнуть в цикле ссылающихся друг на друга тем, а так же без периодического возврата к уже просмотренному контенту

 

[West14]

просто по доступным ссылкам

как раз таки это гораздо менее тривиально в реализации, нежели простой цикл по диапазону чисел

 

[tnoxp]

как раз таки это гораздо менее тривиально в реализации, нежели простой цикл по диапазону чисел

Последний раз когда я занимался сам парсингом, я делал все через автоматизацию браузера, конкретно через Zenno Poster, с написанием сценариев :) Если речь просто в парсинге текста, то на один движок CMS уходило минут 5, чтобы написать работающий скрипт. Со спамом (постингом) уже были свои особенности :) И это все было до ИИ и вайбкодинга, сейчас как бы все проще гораздо. Отсюда у меня и возникла идея, что может это какой-то просто универсальный софт для парсинга, который просто перебирает айди параметров для получения всех страниц :) Но логика странная, я бы так никогда не делал. Очевидно же, что много страниц будет недоступно при таком подходе, а ресурсы (трафик) все равно будешь тратить на получение каких-то кодов ошибок. Но это все лирика.