CloudFlare (борьба с ботами, кэширование + ....)

[john_j]

Предлагаю тему, где можно обсудить плюсы и минусы использования сервиса CloudFlare. А так-же некоторые "хитрости" в случае его использования.
Лично я использую бесплатный тариф, поэтому речь преимущественно о нем и применительно к XF.

Из основных плюсов

• Бесплатность
• Эффективная фильтрация трафика
• Кэширование (ряда картинок, CSS, JS, +)
• Уменьшение размеров страниц (минификация HTML, JS)

Из минусов

• Скорость открытия страниц (в моем случае, снижение порядка 20%)

Из-за периодических DDOS и многочисленных сканирований ботов вынужденно перевел сайты на CF полгода назад, и не жалею.
Информации накопилось не мало, поэтому что знаю могу поделиться с начинающими. Так-же хотелось бы послушать тех, кто давно в теме и может предложить свои решения.
Для общего понимания, и начала темы приведу суточную статистику по трафику одного из сайтов, где видно что закэшировано порядка 80% трафика, включая запросы.



Хотелось-бы выяснить - удалось ли кому нибудь в CF создать нормальное "кэширование для гостей".
Возможно ли это? Предложенные варианты на оф.сайте по условию сессий имеют недостатки связанные с CSRF.

 

[john_j]

Для начинающих, дам совет как отключить статистику посещений в CF.
У меня своя статистика, и загрузка лишнего JS-файла на каждой странице мне было просто ни к чему.
Сам не мог сразу найти как её отключить, так как доступ к ней с главной страницы dashboard, а не конкретного сайта.

Dashboard -> Analytics & Logs -> Web Analytics - > Manage site -> Advanced Options

Список сайтов появляется при заходе в Web Analytics
Нужно поставить галочку "Disable automatic setup"

 

[johnz]

Для начинающих, дам совет как отключить статистику посещений в CF.

А чем это мешает? )

 

[Glek]

А чем это мешает? )

видимо снижает скорость загрузки страниц)

 

[anime359]

Для начинающих отлично подойдет, однако если брать массивную DDoS атаку то защита и сам сайт валяются в коме

 

[ASTEROID]

Для начинающих отлично подойдет, однако если брать массивную DDoS атаку то защита и сам сайт валяются в коме

Смотря как всё настроить, массивную с CF можно пережить, несмотря на то, что это фри защита. Чересчур сильная может да, и шатнёт, но для такой и ресурс должен быть соответствующий, а на такие как правило, бесплатные и не ставят, либо связку.

 

[john_j]

однако если брать массивную DDoS атаку то защита и сам сайт валяются в коме

Тут для начала нужно уточнять о какой конкретно атаке речь и её обьем. Понятие "массивная" у каждого своё.
Из практики скажу что CF без проблем отбивает Layer 7, с 500 - 1000 запросов в секунду. Общее количество IP адресов ботнетов порядка 3000.
Даже не пришлось включать опцию "Under Atack", залазить под капчу. Настроил всё фильтрацией.
Скорее всего CF выдержит атаки на несколько порядков выше.

 

[Sadorimatsu]

Да тут уже обсуждение не о настройке, а какой-то военный совет против ботов и уровнях защиты
Tower Defense нерво плачет.
А если серьёзно, вот, я как новичок в CF, какие рекомендации можете дать для новичка по первичной настройке? По поводу Web Analytics не уверен, на скорости мне никак переход не сказался, даже наоборот стало быстрей и эту опцию не отключал, но так ли надо? Из плюсов для себя, я увидел лишь в применении их прокси и обработке кэша. Ну и статистика учёта возможных атак, для бесплатной работы весьма полезный функционал. А само ограничение в загрузке 100 мб решается так же без особых проблем, смотря какой способ нравится больше.

 

[john_j]

вот, я как новичок в CF, какие рекомендации можете дать для новичка по первичной настройке?

Настройки чего?
Нужно писать более внятно.
В CF, если заметили, много чего можно настроить ))

Если уже подключились, то первоначально нужно спрятать IP адрес оригинального сервера.
Его могут узнать например через почту, если работает свой почтовый сервер.
Лично я делигировал почту на Яндекс.

 

[Sadorimatsu]

john_j, прокси для этого используется. Почта через мыло применяю. Так что вопрос остается открытым, какие настройки стоит для XF учитывать? Например, даже когда использую плагин для поддержки CF и XF. Что можете порекомендовать?))

 

[john_j]

Так что вопрос остается открытым, какие настройки стоит для XF учитывать?

Практически все настройки в той или иной мере влияют на работу сайта.
О какой настройке чего идет речь ?
Я плагин не использую. Всё что есть в CF, можно сделать напрямую.

 

[Sadorimatsu]

john_j, вот у вас я бы и хотел спросить, какие настройки нужно учитывать на самом CF для рекомендуемой настройки. Плагин поддержки CF дублирует функции от веб-версии, потому в пример брать не стану, раз не знаете. Я про настройки сам знать не знаю и что следует учитывать, тоже не знаю. По стандарту и того, что я знаю для себя настройки провёл. Но правильно ли я сделал вопрос. Потому и думал, вы можете прояснить базовые вещи, на что следует обратить внимание. Естественно, как я могу ответить про какие настройки речь на CF, когда я сам не знаю, на что конкретно смотреть для рекомендации.
Для понимания начнём сначала. Вот я перевел домен на CF, прокси запустил. IP спрятал, всё работает на бесплатном тарифе. Какие дальнейшие рекомендации можете дать для настройки и на что смотреть? Возьмите в пример ваш форум, что вы включаете прежде всего. Мне как новичку, откуда это знать? Может оно и не надо)) Приведите свой пример настройки.

Учитывая, что тема не совсем об этом, то думаю достаточно просто указать, что рекомендуется включать, а что выключать. Этого думаю будет достаточно.

 

[Rolzzandik]

Какие дальнейшие рекомендации можете дать для настройки и на что смотреть?

Если все работает и ддос атаки не проходят, а скорость загрузки сайта нормальная - зачем что-то трогать?
Форумы индивидуальны в зависимости от установленных плагинов
Приведу пример.
Например есть поддержка вебсокетов, которые используются разнообразными чатами и реал-тайм решениями.
Вам скажут что они не нужны, а у вас функционал на них завязан.
Универсального гайда нет

Мне как новичку, откуда это знать?

Пробежитесь по панели клауда. Если что-то не понятно - всегда можно посмотреть в официальной документации.

 

[john_j]

Какие дальнейшие рекомендации можете дать для настройки и на что смотреть?

Если совсем новичок, то для XF можно почитать про настройки здесь.

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[john_j]

Если все работает и ддос атаки не проходят, а скорость загрузки сайта нормальная - зачем что-то трогать?

А если одолели боты?
Тут только WAF поможет.
Его настройка тоже индивидуальна, зависит от геолокации аудитории.

Кстати в настройке WAF уже два раза менял стратегию.
Тут важно понять, кого впускать, кого нет, а кому капчу перед входом.
Учитывать что первое правило выполняется первым.

Правила для кэширования уменьшат нагрузку на сервер,
Но тоже настройка индивидуальна, в зависимости от предпочтений.
Я закэшировал картинки (атачи), CSS, JS, шрифты,

 

[anime359]

Массивная атака это от 3-10к запросов в секунду, по моему опыту я недавно за 24 часа поймал более 800к запросов что обеспечивает полный крах

Клоуд хороший но даже 'платная' подписка иногда становится бесполезной

 

[johnz]

я недавно за 24 часа поймал более 800к запросов что обеспечивает полный крах

клауд помог с этой атакой?

 

[john_j]

по моему опыту я недавно за 24 часа поймал более 800к запросов что обеспечивает полный крах

Крах кого? Ничего не понятно.
800k за 24 часа, это менее чем 10 запросов в секунду.
Тут как-бы и Клауд совсем не нужен, для большиства серверов это ни о чем.
У меня Яндекс периодически приходит с такой частотой ))

А вообще, при атаке включается капча Cloud, и Cloud пропускает на сайт только тех кто её прошел.
Какая разница сколько ботов он не пустил, если на сайт попадают только реальные посетители?
Меня обычно долбят 500 запросов/сек. Одна атака была 1000 в секунду. Никак не повлияло на сервер.

Кроме того отслеживается количество запросов с одного IP, и другие технологии.
Кстати, я поставил ограничение с одного IP не более 130 запросов за 10 сек. Если более, то этот IP блокируется на 10 секунд. Это так-же помогает от тех кто решил скачать сайт через программы типа Teleport

В настройках ограничения скорости, на бесплатном тарифе есть правило, к сожалению только одно.
Смысл такой что если идет много запросов с одного IP, то этот IP блочится на X секунд, а посетителю отдается свой заранее подготовленный HTML с кодом ответа 429. Всё настраивается.

 

[john_j]

@john_j, прокси для этого используется.

ClouFlare работает только с портами - 80, 8080 , 8880 , 2052 , 2082 ,2086 ,2095. Во всяком случае на бесплатном тарифе.

То есть почту, прокси CloudFlare не защищает. Поэтому я и пишу что нужно либо создавать свой ящик на ClouFlare либо делегировать почту на сторонний сервис. Иначе, если почта отправляется со своего сервера и домена, злоумышленник может узнать его IP адрес. В ClodFlare есть раздел для настройки Email, но у меня почта делегирована на Яндекс сервер.

 

[-OZ-]

Массивная атака это от 3-10к запросов в секунду, по моему опыту я недавно за 24 часа поймал более 800к запросов что обеспечивает полный крах

Клоуд хороший но даже 'платная' подписка иногда становится бесполезной

Мне бесплатного CF хватило даже для такого: