Known Bots 6.1.0

Теперь требуется разрешение администратора «Управление известными ботами», чтобы увидеть инструменты администратора

исправление ошибки: совместимость XF2.3 для отправки новых ботов через вложение электронной почты

Улучшена совместимость с XF 2.3.

Это обновление содержит важное исправление для обработки неправильного формата UTF-8 в строках пользовательского агента.

Это обновление будет просто игнорировать любые пользовательские агенты с неверным форматом UTF-8, избегая ошибок при попытке отправить обновления через API. Эти пользовательские агенты недействительны, и поэтому нет смысла проводить какой-либо дальнейший анализ — поэтому они молча отбрасываются.

Эта новая версия также содержит дополнительный инструмент CLI для импорта пользовательских агентов из текстового файла в целях тестирования.

Небольшое исправление ошибки: обновление не требуется, если у вас не возникают проблемы с отправкой обновлений бота.

• при отправке ботов по электронной почте включайте список ботов в виде вложения, а не в текст сообщения.
• новый инструмент CLI для прямой отправки ботов по электронной почте, используемый для отладки проблем с отправкой ботов

v6 — это еще одна серьезная переработка основных функций дополнения, направленная на улучшение процесса отправки недавно обнаруженных пользовательских агентов и повышение производительности.

Важно для пользователей версии 4 : в этом выпуске я объявляю устаревшим API версии 1 — версии надстроек v4.x и более ранние будут продолжать работать некоторое время, но затем начнут возвращать коды ошибок 404, как только я отключу API версии 1. Любой, кто все еще использует KnownBots v4.x, должен обновиться как можно скорее.

Важно для пользователей версии 5: API версии 2, используемый в дополнении v5.x для загрузки новых ботов, останется в рабочем состоянии, однако я отказываюсь от системы отправки по электронной почте в пользу новой системы отправки пользовательского агента на основе API. После переходного периода система входящей электронной почты будет отключена, и все электронные письма, отправленные на этот [email protected] адрес, будут возвращены как недоставленные. Любой, кто все еще использует KnownBots v5.x, должен либо обновить, либо хотя бы отключить опцию «Пользовательские агенты электронной почты» в параметрах дополнения v5.x.

Важно для всех, кто обновляется до версии 6: новая система отправки в версии 6 использует процесс аутентификации, чтобы гарантировать, что поступают только действительные отправки. После обновления до версии 6, чтобы продолжить отправку новых пользовательских агентов на анализ, необходимо сначала настроить систему аутентификации — это очень простой процесс — см. инструкции на странице дополнения. Опции для v6 изменились - их стоит проверить после обновления.

Новая система отправки в версии 6 использует

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

для аутентификации сайтов при отправке агентов через наш новый API.

Чтобы настроить API, введите токен проверки лицензии для вашего сайта, который можно найти в

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

. Токен проверки будет отправлен в API проверки клиента XenForo системой KnownBots, и если он действителен, токен API KnownBots будет сгенерирован и возвращен обратно на запрашивающий форум для последующих целей аутентификации.

При наличии подтвержденной лицензии процесс аутентификации происходит автоматически. Токены API обновляются каждые 28 дней и автоматически проходят повторную аутентификацию. Данные клиента автоматически удаляются из базы данных KnownBots после 30 дней бездействия (см. сведения о конфиденциальности на главной странице дополнения). Повторное создание токена проверки лицензии автоматически приведет к сбою повторной проверки API и удалению сведений о клиенте — если только вы не перенастроите параметры надстройки с помощью нового токена проверки лицензии.

Список изменений для v6:

• новый инструмент CLI known-bots:parse для анализа файлов журналов веб-сервера и отображения обнаруженных ботов
• новый инструмент CLI known-bots:send для отправки недавно обнаруженных пользовательских агентов в API KnownBots для анализа.
• новый инструмент CLI known-bots:check-token для проверки успешной аутентификации токена API - и, при необходимости, система повторно создает новый токен API, если срок его действия истек.
• [email protected] адрес электронной почты устарел и скоро будет удален – на этот адрес больше нельзя отправлять электронные письма.
• новая опция конфигурации «Отправить пользовательских агентов через API», которая требует настройки путем ввода токена проверки лицензии XenForo. Новые агенты отправляются напрямую через API, а не по электронной почте.
• опция «Агенты пользователя по электронной почте» остается, но используется только для администраторов форума, которые могут отправлять себе электронные письма, если захотят. При обновлении аддона до версии 6 все ссылки на [email protected] этот параметр конфигурации удаляются.
• Аддон теперь использует v3 API выборки ботов, который включает в себя новые функции.
• Версия 2 API-интерфейса выборки ботов остается работоспособной для сайтов, все еще использующих надстройку версии 5.x.
• Версия 1 API-интерфейса загрузки ботов устарела и скоро перестанет функционировать. Сайты, все еще использующие надстройку v4.x, должны обновиться как можно скорее.
• новая функциональность для дополнения - список строк игнорирования на основе регулярных выражений для удаления из анализа искаженных или запутанных пользовательских агентов. Это также позволяет нам игнорировать пользовательские агенты, содержащие sql-инъекции и другие формы атак, которые обычно заполняют систему большим количеством уникальных пользовательских агентов за короткий период времени.
• повышение производительности — мы больше не выполняем проверку браузера и не игнорируем проверки пользовательских агентов пользователей, вошедших в систему. Мы предполагаем, что любой, кто вошел в систему с действительным идентификатором пользователя XenForo, использует действительный браузер. Обратите внимание, что на всякий случай обнаружение ботов все еще работает. Это значительно уменьшает объем обработки, выполняемой дополнением для действительных пользователей.

Версия 5.0.0 — это серьезная переработка основных функций этого дополнения, направленная на повышение скорости обработки, усовершенствование обнаружения ботов и значительное улучшение наших возможностей по идентификации новых ботов.

Обратите внимание, что параметры изменились, поэтому проверьте их после обновления. Более подробная информация о каждой опции представлена на главной странице дополнения.

• существенное изменение - больше не используйте строки поиска «бот|паук|сканирование» и списки ложных срабатываний для идентификации возможных ботов, вместо этого полагайтесь на строки поиска, предоставляемые API, для идентификации действительных браузеров и сохраняйте их непосредственно в базе данных, а не в SimpleCache, готово для отправки по электронной почте
• более полная повторная обработка агентов — проверьте наличие действительных браузеров и игнорируемых агентов
• изменена основная функция userAgentMatchesRobot, чтобы она использовала strpos вместо preg_match, это намного быстрее и не будет падать при очень большом количестве строк соответствия бота.
• разрешена ручная настройка BotFetcher для обхода ненадежного http-агента — используется для тестирования, когда источник API находится в домене .local. По умолчанию остается использование ненадежного HTTP-агента, позволяющего проксировать исходящие вызовы API.
• изменена электронная почта cron на ежедневную отправку
• использование нового API v2 от KnownBots
• заменены общие боты сложным поиском (регулярными выражениями)
• добавлена кнопка «Получить новых ботов» в список известных ботов в пользовательском интерфейсе администратора
• автоматически повторно обрабатывать пользовательские агенты после загрузки новых данных бота
• новая команда Cli для повторной обработки пользовательских агентов, включая возможность принудительной повторной обработки всех пользовательских агентов
• улучшения в тесте пользовательского агента в пользовательском интерфейсе администратора, чтобы он был более наглядным
• дополнительный адрес электронной почты скрытой копии, чтобы сохранить конфиденциальность
• исправление: не связывать список известных ботов, если ссылки не предоставлены

Этот выпуск включает дополнительные проверки работоспособности, чтобы предотвратить повреждение форумов неверными данными, возвращаемыми из API.

Если какие-либо данные, возвращаемые API, имеют не тот формат, который мы ожидаем, вся загрузка отменяется, и на форуме не применяются никакие изменения. Будет зарегистрировано сообщение об ошибке, требующее дальнейшего расследования.

После обновления до 4.0.1 вам следует вручную принудительно получить новые данные API, выполнив следующую команду из корня вашего форума:

php cmd.php known-bots:fetch -f

KnownBots v4 — это совершенно новая сборка: боты больше не жестко закодированы, а обновляются с помощью вызовов API и используют кеш кода XF для хранения данных бота.

• необработанные данные бота, загруженные из API, хранятся в файле internal_data/knownbots.json.
• новый инструмент CLI для ручного извлечения ботов из API (также предоставляется задача Cron)
• новый инструмент CLI для ручной загрузки ботов из knownbots.json
• новый инструмент CLI для проверки соответствия пользовательского агента

• Добавление новых ботов

За предоставленное обновление благодарим пользователя TechSide