XenForo 2.3: Повышение производительности в XenForo 2.3.14

Если всё пойдёт по плану, на следующей неделе состоится выпуск XenForo 2.3.14.

Помимо обычных исправлений ошибок и улучшений стабильности, в этом обновлении особое внимание уделено производительности. Уже довольно долгое время мы все сталкиваемся с, казалось бы, нескончаемым потоком роев ботов, использующих прокси-серверы для частных пользователей, DDoS-атак, агрессивных сканеров (как на базе ИИ, так и традиционных) и скрейперов.

Каждый раз, когда запрос поступает в XenForo, это обходится в одно соединение PHP-рабочего процесса, одно соединение с базой данных, а также загрузку процессора и памяти; и, если ваш сервер не имеет избыточных технических характеристик (а обычно это не так), у вас есть ограниченный пул ресурсов, за которые борются реальные участники.

Одной из самых серьезных проблем на данный момент является автоматизированный трафик, использующий сети резидентных прокси. Это дает злоумышленникам преимущество, поскольку трафик часто выглядит как подлинный и генерируемый людьми. Вы можете заблокировать целый CIDR-блок или AS-номер, используемый сегодня в злонамеренных целях, только для того, чтобы завтра обнаружить, что эти подозрительные IP-адреса теперь принадлежат реальным пользователям, которые не могут получить доступ к вашему сайту.

Традиционные методы обнаружения и защиты, основанные исключительно на IP-адресах, больше не эффективны. Атаки могут генерировать огромный объем трафика и вызывать сбои, когда десятки тысяч IP-адресов отправляют по одному-двум запросам каждый.

По нашему недавнему опыту, даже Cloudflare и их премиальные средства защиты от этого — режим Cloudflare Superbot Fight Mode - не всегда способны отличить подлинный человеческий трафик от автоматизированного, и сами по себе, по крайней мере при настройках по умолчанию, они недостаточны. Это полезные инструменты, если вы (или кто-то от вашего имени) можете уделять несколько часов в день мониторингу логов, выявлению новых шаблонов, написанию правил для противодействия угрозам, при этом стараясь минимизировать неудобства для реальных пользователей, вам повезло. Но ситуация быстро меняется, и сложно долго оставаться на вершине, поэтому мы, то есть команда XenForo, теперь должны начать анализировать, что мы сами можем сделать, чтобы уменьшить последствия и затраты, связанные с некоторыми из этих запросов.

И именно этим и начинает заниматься XenForo 2.3.14.

Улучшения производительности в разделе Что нового?​

Каждый посетитель, заходящий на любую страницу раздела Что нового?, включая /posts, /profile-posts, /media, /resources, теперь получает единый общий кэшированный результат, возвращаемый с корневого URL, а не страницу, сгенерированную на основе конкретной пронумерованной записи. Каждый посетитель получает один и тот же набор результатов, и, если эта функция включена, HTML-код для этих результатов возвращается непосредственно из кэша страницы. Также приняты меры для того, чтобы при интенсивном одновременном трафике не возникал эффект "панического обращения к кэшу" при перестроении кэшированных результатов. Записи кэша теперь сохраняются с указанием времени сохранения результата, а не момента начала запроса, благодаря чему кэшированные результаты остаются актуальными дольше при высокой нагрузке на сайт, когда генерация устаревших записей кэша начинает занимать больше времени. Отображение "Новых сообщений профиля" теперь также ограничивается сроком действия данных с меткой чтения, поэтому для отображения этого набора результатов требуется меньше ресурсов.

Улучшения проксирования изображений и oEmbed​

Теперь невозможно одновременное отправление запросов на одну и ту же запись проксированных изображений или oEmbed. При наличии у пользователей выдается устаревший результат из кэша до тех пор, пока не появится новый кэшированный результат, вместо того, чтобы одновременно отправлять несколько запросов на один и тот же ресурс.

Запросы oEmbed теперь подписываются, так как ранее файл oembed.php мог извлекать и сохранять записи для медиафайлов, которые не отображались на странице.

Кроме того, ответы на запросы к проксированным изображениям и oEmbed теперь могут более легко кэшироваться браузерами и CDN.

Ссылки для отправки POST-запросов теперь защищены​

Некоторые URL-адреса в XenForo, в частности URL-адреса стилей, вариаций стилей, языков и согласия на использование файлов cookie, ранее представляли собой GET-запросы с встроенным уникальным токеном CSRF. В XenForo Cloud мы наблюдаем, что сканеры и боты переходят по ссылкам типа misc/style-varation со скоростью более 10 миллионов запросов в неделю, и аналогичные объёмы наблюдаются для других URL-адресов. Изначально предназначенный для XenForo 2.4, теперь доступен новый обработчик кликов, который вы можете включить - он называется link-post и отправляет ссылку, выглядящую как стандартная, в виде запроса POST.

Ограничения на использование поиска для гостей​

Количество поисковых запросов, которые могут одновременно инициировать пользователи, не вошедшие в систему, теперь ограничено максимум 4 одновременными запросами. Гости инициировали поиски в объеме 40 миллионов запросов в неделю на XenForo Cloud. При таком объеме использовании поиска, это часто приводило к перегрузке PHP-рабочих процессов и негативно сказывались на работе обычных пользователей.

Начиная с версии XenForo 2.3.14, в новых установках поиск для гостей будет по умолчанию отключен (с помощью прав доступа). Существующие установки не затронуты. Однако мы по-прежнему рекомендуем отключать поиск для гостей, если эта функция не является актуальной для вашего сообщества.

Оптимизация вкладки "Информация" (при просмотре профиля пользователя)​

Изменен алгоритм формирования списков подписчиков и тех, на кого подписан пользователь, на вкладке "Информация", чтобы избежать использования функции RAND() в MySQL. В некоторых случаях работа этой вкладки была ресурсоемкой, и этим часто злоупотребляли.

Улучшенная индексация для поиска по пользователям в MySQL​

Некоторые поисковые запросы, не основанные на ключевых словах ("Последние публикации" и "Найти все публикации этого пользователя"), теперь оптимизированы с целью использования существующих индексов таблиц, при этом PHP берет на себя часть работы, чтобы избежать полного сканирования таблиц при выполнении этих конкретных запросов.

Кэширование вложений​

Вложения в полном размере теперь кэшируются на срок до одного часа, тогда как ранее они не кэшировались вовсе. Кроме того, при каждом запросе на вложение мы обращались к файловой системе или удалённому хранилищу объектов для проверки наличия файла, даже если он всё равно должен был быть предоставлен из кэша. В частности, в случае удалённого хранилища это привело к сокращению количества проверок наличия, которые увеличивали время обработки таких запросов.

Кэш страниц для гостей теперь может кэшировать постоянные перенаправления​

Ранее кэш страниц для гостей мог хранить и выдавать только HTML-код и кэшированные данные, полученные в результате успешного запроса с HTTP-кодом 200. В версии 2.3.14 мы расширили эту возможность на постоянные перенаправления. Это касается ссылок типа posts/<n> и goto/post/<n>, обработка которых требует значительных вычислительных ресурсов, поскольку перед перенаправлением необходимо найти ветку, форум, конкретную страницу и сгенерировать полный URL-адрес. Теперь при таких запросах сохраняются исходный URL-адрес и его конечный адрес, благодаря чему перенаправление происходит мгновенно, без дополнительных вычислений. В XenForo Cloud количество обращений к распространённым маршрутам перенаправления в среднем превышало 15 миллионов в неделю.

Все эти изменения уже вступили в силу на офф форуме XenForo. Пожалуйста, создайте тему об ошибке, если при просмотре сайта в качестве гостя вы обнаружите что-либо, что кажется неверным.

Если вы сталкиваетесь с проблемой ботов, мы настоятельно рекомендуем перейти на версию XenForo 2.3.14 сразу после её выпуска и продолжать делиться отзывами о том, с какими типами нагрузки на систему вы сталкиваетесь при использовании программного обеспечения. Эти изменения - хорошее начало, но мы считаем, что эта "игра в кошки-мышки" ещё далеко не закончена. Работы всегда найдётся!
 
Современный облачный хостинг провайдер | Aéza
Назад
Сверху Снизу