- Совместимость с XenForo
- 2.2
- 2.3
- Видимый копирайт
- Нет
Это дополнение XenForo 2.x добавляет дополнительные определения для обнаружения ботов в сеансах.
Это позволяет более точно определить количество пользователей и роботов, находящихся онлайн в любой момент времени.
Новые определения ботов автоматически извлекаются через API, а обнаруженные потенциальные новые боты отправляются обратно нам на анализ для включения в определения ботов.
По состоянию на сентябрь 2023 года наш файл определений ботов может обнаруживать более 1300 различных ботов, и у нас есть база данных, содержащая более 2300 строк пользовательских агентов, которые были идентифицированы как боты.
Статистика из нашего приложения для управления ботами, специально созданного для отслеживания и идентификации ботов и обслуживания API обновлений:
Требования
этого дополнения требуется PHP 7.0.0 или выше и работает на XenForo 2.x.
Использование
Когда вы посмотрите на «Текущие посетители», вы увидите идентифицированных дополнительных роботов — также посмотрите список «Роботы» на этой странице . example.com/community/online/?type=robot
Мы также добавляем текущее количество роботов в онлайн-виджет «Участники» и виджет онлайн-статистики (с текущей страницы посетителя). Это можно отключить через параметры.
В админке есть инструмент для отображения полного списка известных на данный момент ботов:
... и еще один инструмент, который позволяет вам протестировать строку пользовательского агента, чтобы увидеть, будет ли она обнаружена как бот или нет:
… и третий инструмент, который показывает список из 100 последних обнаруженных ботов, а также всех неопознанных пользовательских агентов, ожидающих отправки на анализ.
Новые определения ботов через API.
Это дополнение будет запрашиватьобновления у API KnownBots и автоматически применять их — больше не нужно вручную устанавливать обновления для получения новых списков ботов. Вы можете запросить API напрямую в любое время, а также отключить процесс автоматического обновления в пользу ручной загрузки файла JSON и загрузки данных с помощью сценария CLI. Инструкции по этому поводу можно найти ниже.
Новое в версии 5.
Версия 5 полностью переработана по сравнению с предыдущими версиями: обнаружение ботов теперь происходит до 15 раз быстрее, чем предыдущий метод. Обнаружение ботов также является более сложным — с помощью вторичной системы обнаружения на основе регулярных выражений, которая помогает идентифицировать сложные строки ботов, которые не могут быть сопоставлены с использованием совпадений простых текстовых строк, используемых по умолчанию.
Если боты не обнаружены, дополнение проверит пользовательский агент по списку допустимых строк регулярных выражений браузера - и, если он не считается действительным браузером, управляемым пользователем, он временно сохранит информацию в базе данных, прежде чем отправить ее обратно в базу данных. автору аддона по электронной почте для дальнейшего анализа.
Раньше система отправляла обратно только те пользовательские агенты, которые соответствовали ключевым словам: bot|crawl|spider. Этот новый метод обнаружения является значительно более комплексным и позволяет с гораздо большей точностью обнаруживать новых ботов, которые могут не идентифицировать себя с помощью традиционных ключевых слов.
Параметры
Включите, чтобы отображать статистику роботов в виджетах боковой панели.
Получение новых ботов.
Включите автоматическое получение новых идентификаторов ботов из поддерживаемого автором дополнения. Если вы отключите эту опцию, вам придется настроить свою собственную систему для обновления определений известных ботов — см. раздел «Интерфейс командной строки», где можно найти варианты, которые помогут здесь.
Хранить пользовательские агенты в базе данных и очищать ее после этого.
Включите сохранение неизвестных пользовательских агентов и бот-агентов в базе данных для дальнейшего анализа. Это следует использовать в сочетании с опцией «Электронная почта пользовательских агентов», чтобы отправлять неизвестные пользовательские агенты обратно автору дополнения для дальнейшего анализа и идентификации новых ботов. Вы также можете вручную отправить информацию об агенте пользователя автору дополнения через ветку обсуждения дополнения — используйте инструмент «Список обнаруженных ботов», чтобы отобразить неизвестные агенты пользователя.
Если эта опция включена, вы также можете выбрать, как долго хранить записи пользовательского агента, прежде чем они будут автоматически удалены из базы данных. При этом используется механизм «последнего посещения» для ведения списка недавно просмотренных ботов — будут удалены только те боты, которые не были замечены в последнее время. Для загруженных сайтов рассмотрите возможность снижения этого значения по сравнению с 90 днями по умолчанию, чтобы уменьшить размер хранимых данных. Установите количество дней на ноль, чтобы никогда не удалять данные пользовательского агента (не рекомендуется).
Пользовательские агенты электронной почты
Включите периодическую отправку строк пользовательского агента по электронной почте автору дополнения для дальнейшего анализа с целью обнаружения ранее неопознанных ботов. Эта опция действует только в том случае, если также включена опция «Хранить пользовательские агенты в базе данных».
По умолчанию система отправляет электронные письма непосредственно автору дополнения на адрес[email protected] , но вы можете настроить отправку электронных писем на любой адрес, если хотите проверить, какую информацию содержат электронные письма. Вы можете вручную переслать электронное письмо на указанный выше адрес или опубликовать строки пользовательского агента в теме поддержки для анализа.
Вы можете указать несколько адресов электронной почты, разделенных запятыми. Все адреса после первого представляют собой скрытую копию электронного письма, поэтому укажите известные боты@hampel.io.сначала, а затем на любые другие адреса электронной почты, на которые вы хотите получать электронное письмо, список получателей не будет виден автору дополнения.
Ведение журнала
Установите надстройку службы ведения журнала Monolog , чтобы регистрировать информацию об отправленных электронных письмах и выполненных запросах API.
Интерфейс командной строки
Предоставляются инструменты CLI, которые могут быть полезны в определенных случаях использования.
Используйте -f опцию для принудительного обновления, минуя флаг «последнее обновление» и повторно получая последние определения ботов.
Если вы используете эту команду через собственный cron, обязательно отключите прилагаемое задание XenForo Cron под названием «Известные боты: получение новых ботов из API».
Аддон ищет файл internal_data/knownbots.json— если вы загрузите его вручную и поместите обновленную версию в это место, вы сможете затем выполнить указанную выше команду для загрузки данных без вызова API.
По умолчанию повторно обрабатываются только «неизвестные» пользовательские агенты. Используйте -a опцию для повторной обработки всех известных и неизвестных пользовательских агентов — полезно, если бот был ошибочно идентифицирован, но был обновлен в последних данных API.
Не забудьте заключить в кавычки строки пользовательского агента, содержащие пробелы. Например:
Используйте -s опцию, чтобы сохранить строки пользовательского агента в базе данных для дальнейшей обработки.
Заявление о конфиденциальности
Автор дополнения обязуется быть «добропорядочным гражданином» в отношении того, как используются и собираются данные. Мы также предоставляем возможность отключить или обойти определенные функции, если вам по-прежнему неудобно использовать системы так, как они задуманы.
Вызовы API с помощью дополнения выполняются с использованием стандартного «недоверенного» HTTP-клиента, встроенного в XenForo, что означает, что они перенаправляются через прокси-сервер, если он у вас настроен. Стандартные файлы журналов веб-сервера на сервере API будут содержать информацию о сделанных запросах, включая IP-адрес вашего сервера (или прокси-сервера, если он используется), а также имя вашего форума, указанное в пользовательском агенте HTTP-клиента XenForo. Например:
Информация журнала HTTP-сервера используется исключительно в целях аналитики и устранения неполадок и никогда не предоставляется третьим лицам.
При включении опций «Хранить пользовательские агенты в базе данных» и «Отправлять пользовательские агенты по электронной почте» произойдет следующее:
Помимо списка строк пользовательского агента, единственной информацией, содержащейся в электронном письме, будет информация, автоматически добавленная в заголовок электронного письма почтовой программой форума и SMTP-серверами.
Электронные письма отправляются на [email protected] этот адрес по умолчанию, и любые электронные письма, отправленные на этот адрес, будут использоваться только с целью выявления новых ботов для добавления в это дополнение. Адреса электронной почты никогда не будут проданы или добавлены в какие-либо маркетинговые списки, даже в наши.
Если в электронных письмах, которые вы отправляете нам, обнаружены проблемы, мы можем отправить вам электронное письмо для установления связи, но это будет осуществляться в каждом конкретном случае и только в целях устранения неполадок в работе этого дополнения.
Вы можете проверить информацию, содержащуюся в электронных письмах, добавив свой собственный адрес электронной почты в параметры дополнения — текстовое поле принимает список адресов, разделенных запятыми. Например, установите адрес электронной почты: [email protected], [email protected]
Убедитесь, что первый адрес электронной почты является автором дополнения (если он указан) — все адреса электронной почты после первой записи будут скрыты — и поэтому автор дополнения не будет иметь никакой информации о том, кто еще получил электронные письма.
Обратите внимание, что электронные письма, полученные автором дополнения на [email protected]адрес, автоматически обрабатываются путем от нашего поставщика услуг электронной почты (SparkPost) и никогда не сохраняются во входящих сообщениях и не читаются человеком.
Адрес отправителя электронной почты регистрируется для целей устранения неполадок, но никогда не используется для каких-либо других целей.
Не отправляйте на этот адрес электронное письмо с вопросами о дополнении или для связи с автором дополнения — любые электронные письма, не содержащие действительную информацию об агенте пользователя, автоматически отклоняются автоматическим обработчиком. Пожалуйста, свяжитесь с автором дополнения через ветку обсуждения дополнения или личное сообщение.
Это позволяет более точно определить количество пользователей и роботов, находящихся онлайн в любой момент времени.
Новые определения ботов автоматически извлекаются через API, а обнаруженные потенциальные новые боты отправляются обратно нам на анализ для включения в определения ботов.
По состоянию на сентябрь 2023 года наш файл определений ботов может обнаруживать более 1300 различных ботов, и у нас есть база данных, содержащая более 2300 строк пользовательских агентов, которые были идентифицированы как боты.
Статистика из нашего приложения для управления ботами, специально созданного для отслеживания и идентификации ботов и обслуживания API обновлений:
Требования
этого дополнения требуется PHP 7.0.0 или выше и работает на XenForo 2.x.
Использование
Когда вы посмотрите на «Текущие посетители», вы увидите идентифицированных дополнительных роботов — также посмотрите список «Роботы» на этой странице . example.com/community/online/?type=robot
Мы также добавляем текущее количество роботов в онлайн-виджет «Участники» и виджет онлайн-статистики (с текущей страницы посетителя). Это можно отключить через параметры.
В админке есть инструмент для отображения полного списка известных на данный момент ботов:
... и еще один инструмент, который позволяет вам протестировать строку пользовательского агента, чтобы увидеть, будет ли она обнаружена как бот или нет:
… и третий инструмент, который показывает список из 100 последних обнаруженных ботов, а также всех неопознанных пользовательских агентов, ожидающих отправки на анализ.
Новые определения ботов через API.
Это дополнение будет запрашиватьобновления у API KnownBots и автоматически применять их — больше не нужно вручную устанавливать обновления для получения новых списков ботов. Вы можете запросить API напрямую в любое время, а также отключить процесс автоматического обновления в пользу ручной загрузки файла JSON и загрузки данных с помощью сценария CLI. Инструкции по этому поводу можно найти ниже.
Новое в версии 5.
Версия 5 полностью переработана по сравнению с предыдущими версиями: обнаружение ботов теперь происходит до 15 раз быстрее, чем предыдущий метод. Обнаружение ботов также является более сложным — с помощью вторичной системы обнаружения на основе регулярных выражений, которая помогает идентифицировать сложные строки ботов, которые не могут быть сопоставлены с использованием совпадений простых текстовых строк, используемых по умолчанию.
Если боты не обнаружены, дополнение проверит пользовательский агент по списку допустимых строк регулярных выражений браузера - и, если он не считается действительным браузером, управляемым пользователем, он временно сохранит информацию в базе данных, прежде чем отправить ее обратно в базу данных. автору аддона по электронной почте для дальнейшего анализа.
Раньше система отправляла обратно только те пользовательские агенты, которые соответствовали ключевым словам: bot|crawl|spider. Этот новый метод обнаружения является значительно более комплексным и позволяет с гораздо большей точностью обнаруживать новых ботов, которые могут не идентифицировать себя с помощью традиционных ключевых слов.
Параметры
Показать статистику
Включите, чтобы отображать статистику роботов в виджетах боковой панели.
Получение новых ботов.
Включите автоматическое получение новых идентификаторов ботов из поддерживаемого автором дополнения. Если вы отключите эту опцию, вам придется настроить свою собственную систему для обновления определений известных ботов — см. раздел «Интерфейс командной строки», где можно найти варианты, которые помогут здесь.
Хранить пользовательские агенты в базе данных и очищать ее после этого.
Включите сохранение неизвестных пользовательских агентов и бот-агентов в базе данных для дальнейшего анализа. Это следует использовать в сочетании с опцией «Электронная почта пользовательских агентов», чтобы отправлять неизвестные пользовательские агенты обратно автору дополнения для дальнейшего анализа и идентификации новых ботов. Вы также можете вручную отправить информацию об агенте пользователя автору дополнения через ветку обсуждения дополнения — используйте инструмент «Список обнаруженных ботов», чтобы отобразить неизвестные агенты пользователя.
Если эта опция включена, вы также можете выбрать, как долго хранить записи пользовательского агента, прежде чем они будут автоматически удалены из базы данных. При этом используется механизм «последнего посещения» для ведения списка недавно просмотренных ботов — будут удалены только те боты, которые не были замечены в последнее время. Для загруженных сайтов рассмотрите возможность снижения этого значения по сравнению с 90 днями по умолчанию, чтобы уменьшить размер хранимых данных. Установите количество дней на ноль, чтобы никогда не удалять данные пользовательского агента (не рекомендуется).
Пользовательские агенты электронной почты
Включите периодическую отправку строк пользовательского агента по электронной почте автору дополнения для дальнейшего анализа с целью обнаружения ранее неопознанных ботов. Эта опция действует только в том случае, если также включена опция «Хранить пользовательские агенты в базе данных».
По умолчанию система отправляет электронные письма непосредственно автору дополнения на адрес[email protected] , но вы можете настроить отправку электронных писем на любой адрес, если хотите проверить, какую информацию содержат электронные письма. Вы можете вручную переслать электронное письмо на указанный выше адрес или опубликовать строки пользовательского агента в теме поддержки для анализа.
Вы можете указать несколько адресов электронной почты, разделенных запятыми. Все адреса после первого представляют собой скрытую копию электронного письма, поэтому укажите известные боты@hampel.io.сначала, а затем на любые другие адреса электронной почты, на которые вы хотите получать электронное письмо, список получателей не будет виден автору дополнения.
Ведение журнала
Установите надстройку службы ведения журнала Monolog , чтобы регистрировать информацию об отправленных электронных письмах и выполненных запросах API.
Интерфейс командной строки
Предоставляются инструменты CLI, которые могут быть полезны в определенных случаях использования.
Получить ботов
Получайте новых ботов через API. Используйте это для запуска собственного cron — выполняет ту же задачу, что и поставляемое задание XenForo Cron.
Bash:
$ php cmd.php known-bots:fetchИспользуйте -f опцию для принудительного обновления, минуя флаг «последнее обновление» и повторно получая последние определения ботов.
Если вы используете эту команду через собственный cron, обязательно отключите прилагаемое задание XenForo Cron под названием «Известные боты: получение новых ботов из API».
Загрузить ботов
Загрузите данные о ботах из файла knownbots.json, который уже находится в файловой системе.
Bash:
$ php cmd.php known-bots:loadАддон ищет файл internal_data/knownbots.json— если вы загрузите его вручную и поместите обновленную версию в это место, вы сможете затем выполнить указанную выше команду для загрузки данных без вызова API.
Повторная обработка пользовательских агентов
Перебирайте пользовательские агенты, хранящиеся в базе данных, и обновляйте определения на основе последних данных об обнаружении ботов.
Bash:
$ php cmd.php known-bots:reprocessПо умолчанию повторно обрабатываются только «неизвестные» пользовательские агенты. Используйте -a опцию для повторной обработки всех известных и неизвестных пользовательских агентов — полезно, если бот был ошибочно идентифицирован, но был обновлен в последних данных API.
Тестовые боты
Проверьте предоставленную строку пользовательского агента и определите, распознается ли она как бот.
Bash:
$ php cmd.php known-bots:test {user-agent}Не забудьте заключить в кавычки строки пользовательского агента, содержащие пробелы. Например:
Bash:
$ php cmd.php known-bots:test "Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)"
Found robot: [ahrefs]
Title: AhrefsBotИспользуйте -s опцию, чтобы сохранить строки пользовательского агента в базе данных для дальнейшей обработки.
Заявление о конфиденциальности
Резюме
В зависимости от включенных опций, автор дополнения собирает некоторую информацию о сайтах, использующих это дополнение, но она используется только для анонимной аналитики и в целях устранения неполадок и никогда не раскрывается третьим лицам, а также никогда не используется для маркетинга или каких-либо других целей. целях, отличных от работы этого дополнения.Автор дополнения обязуется быть «добропорядочным гражданином» в отношении того, как используются и собираются данные. Мы также предоставляем возможность отключить или обойти определенные функции, если вам по-прежнему неудобно использовать системы так, как они задуманы.
Подробности
Если включена опция «Извлечь новых ботов» , дополнение автоматически отправит запрос в , загрузив обновленный список определений ботов. Вы можете в любое время напрямую запросить этот API, чтобы узнать, что содержится в возвращаемых данных.Вызовы API с помощью дополнения выполняются с использованием стандартного «недоверенного» HTTP-клиента, встроенного в XenForo, что означает, что они перенаправляются через прокси-сервер, если он у вас настроен. Стандартные файлы журналов веб-сервера на сервере API будут содержать информацию о сделанных запросах, включая IP-адрес вашего сервера (или прокси-сервера, если он используется), а также имя вашего форума, указанное в пользовательском агенте HTTP-клиента XenForo. Например:
Bash:
2400:8907:e001:xx::xxx - - [15/Aug/2023:00:00:07 +0000] "GET /api/bots?since=1691729327 HTTP/1.1" 200 119647 "-" "XenForo/2.x (https://www.example.com)"Информация журнала HTTP-сервера используется исключительно в целях аналитики и устранения неполадок и никогда не предоставляется третьим лицам.
При включении опций «Хранить пользовательские агенты в базе данных» и «Отправлять пользовательские агенты по электронной почте» произойдет следующее:
- пользовательские агенты, которые не были обнаружены как бот или действительный браузер, будут храниться в базе данных.
- один раз в день на адреса электронной почты, указанные в настройках, будет отправляться электронное письмо со списком этих пользовательских агентов.
- эти строки пользовательского агента будут сопоставлены автором дополнения и использованы для идентификации новых ботов или для совершенствования действующей системы обнаружения браузера.
Помимо списка строк пользовательского агента, единственной информацией, содержащейся в электронном письме, будет информация, автоматически добавленная в заголовок электронного письма почтовой программой форума и SMTP-серверами.
Электронные письма отправляются на [email protected] этот адрес по умолчанию, и любые электронные письма, отправленные на этот адрес, будут использоваться только с целью выявления новых ботов для добавления в это дополнение. Адреса электронной почты никогда не будут проданы или добавлены в какие-либо маркетинговые списки, даже в наши.
Если в электронных письмах, которые вы отправляете нам, обнаружены проблемы, мы можем отправить вам электронное письмо для установления связи, но это будет осуществляться в каждом конкретном случае и только в целях устранения неполадок в работе этого дополнения.
Вы можете проверить информацию, содержащуюся в электронных письмах, добавив свой собственный адрес электронной почты в параметры дополнения — текстовое поле принимает список адресов, разделенных запятыми. Например, установите адрес электронной почты: [email protected], [email protected]
Убедитесь, что первый адрес электронной почты является автором дополнения (если он указан) — все адреса электронной почты после первой записи будут скрыты — и поэтому автор дополнения не будет иметь никакой информации о том, кто еще получил электронные письма.
Обратите внимание, что электронные письма, полученные автором дополнения на [email protected]адрес, автоматически обрабатываются путем от нашего поставщика услуг электронной почты (SparkPost) и никогда не сохраняются во входящих сообщениях и не читаются человеком.
Адрес отправителя электронной почты регистрируется для целей устранения неполадок, но никогда не используется для каких-либо других целей.
Не отправляйте на этот адрес электронное письмо с вопросами о дополнении или для связи с автором дополнения — любые электронные письма, не содержащие действительную информацию об агенте пользователя, автоматически отклоняются автоматическим обработчиком. Пожалуйста, свяжитесь с автором дополнения через ветку обсуждения дополнения или личное сообщение.
![[Liam W.] Post Macros](/data/resource_icons/8/8730.jpg?1590821966){kind=icon}
