Логи поисковых ботов

Статус
В этой теме нельзя размещать новые ответы.

zloj

Проверенные
Сообщения
279
Реакции
78
Баллы
5,530
В IPB например в админке есть логи поисковых ботов (дата, страница, айпишник, юсерагент), в phpbb тоже было, никто не встречал плагина для ксении?

Вопрос актуален)
 
Последнее редактирование модератором:
ValeCore, спасибо что не прошли мимо, но к сожалению это не то... странно что никто не сделал такой полезный инструмент идущий в комплекте с другими движками...
Страшно спросить - для чего вам эта информация?
 
Exile, очень полезно, например смотреть по каким именно страницам ходит робот (чтоб вовремя закрывать ненужное, то что вы видите в поиске не отражает что он делает на сайте, он может делать кучу бесполезных хитов а темы и посты не переиндексировать), вообще смотреть какие поисковики и как регулярно заходят.

Вы вот спрашиваете "зачем", а какой информацией о том как ваш сайт индексируют поисковики вы вообще интересуетесь? Если никакой то плагин вам возможно не нужен.
 
Вы вот спрашиваете "зачем", а какой информацией о том как ваш сайт индексируют поисковики вы вообще интересуетесь? Если никакой то плагин вам возможно не нужен.
Для этого есть адекватные инструменты от самих поисковых систем, которые дают в сотни раз больше возможностей, а не дебильный сбор информации в рамках самого ресурса.



 
Exile, если для вас это "дебильно" то я наверное вас не переубежу, да мне это и не нужно. У меня другой проект на ИПБ и я там хорошо вижу реальную картину, как часто какой бот заходит и что индексирует, а сервис для продвинутых парней к сожалению не показывает мне всё (да ещё и с опозданием), и мне это несколько раз сильно помогало.
 
zloj, просто стоит понимать, что если у вас сайт с 2 страницами - там можно и вручную проверить кто что делал. А если у вас сайт с нормальной посещаемостью и онлайном - вся эта информация не добавит ничего интересного кроме того, что только загрузит базу данных ненужной информацией.

И ответ на вопрос из первого сообщения - нет, таких извращений для этого движка никто не писал. Вам в поиск исполнителя.
 
А если у вас сайт с нормальной посещаемостью и онлайном - вся эта информация не добавит ничего интересного кроме того, что только загрузит базу данных ненужной информацией.
Вы наверное не совсем поняли, я ищу не сборщик всех под ряд запросов а только от поисковиков, сгруппированых по дате и поисковому роботу, с их IP. В IPB стоит автоочистка раз в 30 дней и никакого переполнения лишней информацией нет.
P.S. У меня форум больше миллиона сообщений с разделами другими и хитов от Яндекса очень много, я знаю о чём пишу.
 
zloj, если у вас форум с миллионом сообщений, то при нормальной индексации в сутки должно быть обойдено более 25 тысяч страниц. Одним ботом. А их десятки, при условии что только крупных пять. Чтобы разобраться со всей этой кучей - надо быть не иначе самому ботом поисковым для анализа такого массива информации. Ну и опять же - инструменты от поисковых систем дают больше возможностей, если вы в этом разберетесь. Например чего стоит настройка сегментов url в Google, которая позволяет задать поисковому боту прямые алгоритмы индексирования конкретно вашего сайта.
 
Exile, мне надоело если честно, это всё равно что спросить почему в вашей библиотеке не один плагин скрытого текста а 10 - ну выкинули бы остальные т.к. они возможно "дебильные" по сравнению с одним самым лучшим. Я сказал что мне инструмент удобнее, и он показывает например в отличии от гугловского любых ботов (или чего угодно, в зависимости какую часть в юзерагенте я буду отслеживать), он показывает мне это в реальном времени, я вижу сколько раз яндекс запрашивает РСС ленту, как долго он "забывает" удалённую страницу или переиндекирует нужную мне тему, в какой последовательности он индексирует сайт, и повторюсь - я могу посмотреть это по каждому поисковику в любой момент времени отфильтровав по части URL или IP адресу. Даже могу видеть разных ботов не обобщённых одним "Яндекс" - это и директ, и Яндекс.Блоги который до сих пор индексирует ленты.
 
Статус
В этой теме нельзя размещать новые ответы.
Современный облачный хостинг провайдер | Aéza
Назад
Сверху Снизу