CloudFlare (борьба с ботами, кэширование + ....)

[ASTEROID]

То есть почту, прокси CloudFlare не защищает. Поэтому я и пишу что нужно либо создавать свой ящик на ClouFlare либо делегировать почту на сторонний сервис. Иначе, если почта отправляется со своего сервера и домена, злоумышленник может узнать его IP адрес. В ClodFlare есть раздел для настройки Email, но у меня почта делегирована на Яндекс сервер.

Это факт, да, лучше использовать сторонний почтовый сервис, либо поднимать свой собственный на отдельном сервере, его ИП раскрывать уже не страшно будет.

 

[john_j]

DDOS - это не каждый день, а вот боты лезут постоянно.
CF отлично справляется с фильтрацией. У меня ежедневно, отбивает порядка 20 - 30k запросов от ботов и всякой нечести. Ежедневно, только около 500 запросов в поисках wp-login.php. Запретил его и ещё поряка 20 запросов к файлам, которых в принципе нет на сервере, но недохакеры усердно ищут заветные файлики.

Страшного конечно ничего нет, если не считать что каждое обращение к такому файлу впустую тратит ресурсы сервера. В итоге, ежедневно отфильтровывается более 20к запросов от ботов. Кроме того, есть мнение что боты ухудшают поведенческие факторы в Яндекс.

 

[Rolzzandik]

А если одолели боты?

А они чем мешают?
Опять же, если все работает, скорость загрузки отличная, а ддос атаки не проходят - не надо ничего трогать.
Так можно отрезать вполне легитимных пользователей

А вообще, при атаке включается капча Cloud, и Cloud пропускает на сайт только тех кто её прошел.

При атаке не всегда включается капча. Иногда срабатывает JS челендж ("мы проверям ваш браузер").
И честно говоря, что одно, что другое обходится, вопрос лишь в ресурсах.

Страшного конечно ничего нет, если не считать что каждое обращение к такому файлу впустую тратит ресурсы сервера. В итоге, ежедневно отфильтровывается более 20к запросов от ботов. Кроме того, есть мнение что боты ухудшают поведенческие факторы в Яндекс.

А как яндекс может знать о запросах к несуществующим файлам на веб-сервере?
Единственное, где это отражено - логи самого веб-сервера.


Из интересного еще есть статья 2020 года с хабра:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

В т.ч могу напомнить недавний сбой в их работе, когда их панель просто лежала.

В случае России клауд больше замедляет, чем ускоряет.
Из банального - у них достаточно большая сеть серверов по России и СНГ, однако достаточно плохой пиринг в городах, где эти сервера стоят (кроме Москвы и СПБ).
Допустим у нас арендован сервер в Новосибирске, подключен Cloudflare и заходит клиент с условного Кемерово. Пойдет ли траффик через кэширующие сервера в НСК? Скорее всего нет, клауд построит маршрут через Москву.

Кроме того, некоторые IP-адреса из подсетей клауда заблокированы РКНом, и с этим ничего не сделаешь.
Иногда у пользователей из Казахстана возникают проблемы с сайтами за клаудфларом.

Да и вообще - централизация интернета это очень плохо.

 

[john_j]

А как яндекс может знать о запросах к несуществующим файлам на веб-сервере?

Это искажеиие смысла с вашей стороны
Речь шла о ботах, а не о запросах к несуществующим файлам

 

[artscripts]

Ребята, не нужно спорить о предпочтениях. Лучше покажите пользователям свои настройки для отсечение ботов, какие ip и подсети блокируете? Предложите помощь новичкам перейти на клоуд как DNS и так далее, от этого будет больше пользы по моему мнению. Ели я правильно понял эта тема создана для помощи а не для споров?

 

[john_j]

Лучше покажите пользователям свои настройки для отсечение ботов, какие ip и подсети блокируете?

Но тут опять-таки зависит от сайта. Вернее от его аудиториии и размещенной информации
Например лично я блокирую Bing, у меня нет с него посетителей, кто-то не блокирует.

Начать борьбу с ботами нужно со стратегии размещения правил в WAF.
В бесплатном тарифе можно разместить всего пять списков правил.
Я сделал такие :
1 - кого 100 % блочим
2 - кого 100 % не блочим
3 - кому отображаем капчу (JS Challenge)
4 и 5 - кого блочим по разным условиям

Универсального совета в принципе не возможно дать, лично я

• Блокирую спамерские страны - Индия, Китай, ...
• Блокирую сети чисто хостеров - Hetzner , Битрика, ....
• Блокирую User Agent-ы роботов - VK, BING, ChatGPT, ..

 

[artscripts]

john_j, Ну нет же, вы вроде создатель темы а как дилетант, что блокировать нужно пользователям, в какой очередности ставить правила для фильтрации?

Блокировка по правилам вам что то говорит?

Правило 1:

(http.user_agent contains "Abonti") or (http.user_agent contains "AspiegelBot") or (http.user_agent contains "aggregator") or (http.user_agent contains "AhrefsBot") or (http.user_agent contains "Aport") or (http.user_agent contains "asterias") or (http.user_agent contains "Baiduspider") or (http.user_agent contains "BDCbot") or (http.user_agent contains "bidswitchbot") or (http.user_agent contains "Birubot") or (http.user_agent contains "BLEXBot") or (http.user_agent contains "BUbiNG") or (http.user_agent contains "BuiltBotTough") or (http.user_agent contains "Bullseye") or (http.user_agent contains "BunnySlippers") or (http.user_agent contains "Butterfly") or (http.user_agent contains "ca-crawler") or (http.user_agent contains "CamontSpider") or (http.user_agent contains "CCBot") or (http.user_agent contains "Cegbfeieh") or (http.user_agent contains "CheeseBot") or (http.user_agent contains "CherryPicker") or (http.user_agent contains "coccoc") or (http.user_agent contains "CopyRightCheck") or (http.user_agent contains "cosmos") or (http.user_agent contains "crawler") or (http.user_agent contains "Crescent") or (http.user_agent contains "CyotekWebCopy/1.7") or (http.user_agent contains "CyotekHTTP/2.0") or (http.user_agent contains "DataForSeoBot") or (http.user_agent contains "DeuSu") or (http.user_agent contains "discobot") or (http.user_agent contains "DittoSpyder") or (http.user_agent contains "DnyzBot") or (http.user_agent contains "DomainCrawler") or (http.user_agent contains "DotBot") or (http.user_agent contains "Download Ninja") or (http.user_agent contains "EasouSpider") or (http.user_agent contains "EmailCollector") or (http.user_agent contains "EmailSiphon") or (http.user_agent contains "EmailWolf") or (http.user_agent contains "EroCrawler") or (http.user_agent contains "Exabot") or (http.user_agent contains "ExtractorPro") or (http.user_agent contains "Ezooms") or (http.user_agent contains "FairShare") or (http.user_agent contains "Fasterfox") or (http.user_agent contains "FeedBooster") or (http.user_agent contains "Foobot") or (http.user_agent contains "Genieo") or (http.user_agent contains "GetIntent Crawler") or (http.user_agent contains "Gigabot") or (http.user_agent contains "gold crawler") or (http.user_agent contains "GrapeshotCrawler") or (http.user_agent contains "grub-client") or (http.user_agent contains "Harvest") or (http.user_agent contains "hloader") or (http.user_agent contains "httplib") or (http.user_agent contains "HTTrack") or (http.user_agent contains "humanlinks") or (http.user_agent contains "HybridBot") or (http.user_agent contains "ia_archiver") or (http.user_agent contains "ieautodiscovery") or (http.user_agent contains "Incutio") or (http.user_agent contains "InfoNaviRobot") or (http.user_agent contains "InternetSeer") or (http.user_agent contains "IstellaBot") or (http.user_agent contains "Java") or (http.user_agent contains "Java/1.") or (http.user_agent contains "JamesBOT") or (http.user_agent contains "JennyBot") or (http.user_agent contains "JS-Kit") or (http.user_agent contains "k2spider") or (http.user_agent contains "Kenjin Spider") or (http.user_agent contains "Keyword Density/0.9") or (http.user_agent contains "kmSearchBot") or (http.user_agent contains "larbin") or (http.user_agent contains "LexiBot") or (http.user_agent contains "libWeb") or (http.user_agent contains "libwww") or (http.user_agent contains "Linguee") or (http.user_agent contains "LinkExchanger") or (http.user_agent contains "LinkextractorPro") or (http.user_agent contains "linko") or (http.user_agent contains "LinkScan/8.1a Unix") or (http.user_agent contains "LinkWalker") or (http.user_agent contains "LinkpadBot") or (http.user_agent contains "lmspider") or (http.user_agent contains "LNSpiderguy") or (http.user_agent contains "ltx71") or (http.user_agent contains "lwp-trivial") or (http.user_agent contains "lwp-trivial") or (http.user_agent contains "magpie") or (http.user_agent contains "Mata Hari") or (http.user_agent contains "MaxPointCrawler") or (http.user_agent contains "MegaIndex")

Правило 2:

(http.user_agent contains "memoryBot") or (http.user_agent contains "Microsoft URL Control") or (http.user_agent contains "MIIxpc") or (http.user_agent contains "Mippin") or (http.user_agent contains "Missigua Locator") or (http.user_agent contains "Mister PiX") or (http.user_agent contains "MJ12bot") or (http.user_agent contains "MLBot") or (http.user_agent contains "moget") or (http.user_agent contains "MSIECrawler") or (http.user_agent contains "msnbot") or (http.user_agent contains "msnbot-media") or (http.user_agent contains "NetAnts") or (http.user_agent contains "NICErsPRO") or (http.user_agent contains "Niki-Bot") or (http.user_agent contains "NjuiceBot") or (http.user_agent contains "NPBot") or (http.user_agent contains "Nutch") or (http.user_agent contains "Offline Explorer") or (http.user_agent contains "OLEcrawler") or (http.user_agent contains "Openfind") or (http.user_agent contains "panscient.com") or (http.user_agent contains "PostRank") or (http.user_agent contains "ProPowerBot/2.14") or (http.user_agent contains "PetalBot") or (http.user_agent contains "ProWebWalker") or (http.user_agent contains "ptd-crawler") or (http.user_agent contains "Purebot") or (http.user_agent contains "PycURL") or (http.user_agent contains "python-rcontainsuests") or (http.user_agent contains "Python-urllib") or (http.user_agent contains "QueryN Metasearch") or (http.user_agent contains "RepoMonkey") or (http.user_agent contains "Riddler") or (http.user_agent contains "RMA") or (http.user_agent contains "Scrapy") or (http.user_agent contains "SemrushBot") or (http.user_agent contains "serf") or (http.user_agent contains "SeznamBot") or (http.user_agent contains "SISTRIX") or (http.user_agent contains "SiteBot") or (http.user_agent contains "sitecheck.Internetseer.com") or (http.user_agent contains "SiteSnagger") or (http.user_agent contains "Serpstat") or (http.user_agent contains "Slurp") or (http.user_agent contains "SnapPreviewBot") or (http.user_agent contains "Sogou") or (http.user_agent contains "Soup") or (http.user_agent contains "SpankBot") or (http.user_agent contains "spanner") or (http.user_agent contains "spbot") or (http.user_agent contains "Spinn3r") or (http.user_agent contains "SpyFu") or (http.user_agent contains "suggybot") or (http.user_agent contains "SurveyBot") or (http.user_agent contains "suzuran") or (http.user_agent contains "SWeb") or (http.user_agent contains "Szukacz/1.4") or (http.user_agent contains "Teleport") or (http.user_agent contains "Telesoft") or (http.user_agent contains "The Intraformant") or (http.user_agent contains "TheNomad") or (http.user_agent contains "TightTwatBot") or (http.user_agent contains "Titan") or (http.user_agent contains "toCrawl/UrlDispatcher") or (http.user_agent contains "True_Robot") or (http.user_agent contains "ttCrawler") or (http.user_agent contains "turingos") or (http.user_agent contains "TurnitinBot") or (http.user_agent contains "UbiCrawler") or (http.user_agent contains "UnisterBot") or (http.user_agent contains "Unknown") or (http.user_agent contains "uptime files") or (http.user_agent contains "URLy Warning") or (http.user_agent contains "User-Agent") or (http.user_agent contains "VCI") or (http.user_agent contains "Vedma") or (http.user_agent contains "Voyager") or (http.user_agent contains "WBSearchBot") or (http.user_agent contains "Web Downloader/6.9") or (http.user_agent contains "Web Image Collector") or (http.user_agent contains "WebAuto") or (http.user_agent contains "WebBandit") or (http.user_agent contains "WebCopier") or (http.user_agent contains "WebEnhancer") or (http.user_agent contains "WebmasterWorldForumBot") or (http.user_agent contains "WebReaper") or (http.user_agent contains "WebSauger") or (http.user_agent contains "Website Quester") or (http.user_agent contains "Webster Pro") or (http.user_agent contains "WebStripper") or (http.user_agent contains "WebZip") or (http.user_agent contains "Wotbox") or (http.user_agent contains "wsr-agent") or (http.user_agent contains "WWW-Collector-E") or (http.user_agent contains "Yeti")

О чем вы пытаетесь рассказать если нет конкретики? для чего эта тема? Какие подсети ботов блокировать? что нельзя делать?

 

[Adguest]

Вот мне интересно как настроить проверку капчи если я захожу на форум и система вычисляет меня как бота допустим с прокси или впн... но при этом что бы не было проблемы с оплатами freekassa допустим, потому что если я включаю в ручную что я под атакой, любые платежы даже с юкассы, то платное повышение не срабатывает автоматически...

 

[john_j]

О чем вы пытаетесь рассказать если нет конкретики? для чего эта тема? Какие подсети ботов блокировать?

Ну вот я скопирую одно свое правило.
Это не даст начинающему никаких понятий что и как тут заблочено

(ip.src in {64.124.8.0/24 3.143.220.0/24 20.216.191.0/24 79.165.46.0/24 205.210.31.0/24 109.165.46.0/24 176.99.84.0/24 95.161.221.0/24 85.208.98.0/24 37.214.49.0/24}) or (ip.src in {154.28.229.0/24 193.232.148.0/24 79.165.46.0/24 193.232.150.0/24 20.191.45.0/24 85.175.99.0/24 95.24.156.0/24 37.112.51.0/24 37.73.97.0/24 95.220.61.0/24}) or (ip.geoip.asnum eq 211252) or (ip.geoip.asnum eq 62907) or (ip.geoip.asnum eq 63949) or (ip.geoip.asnum eq 52007) or (ip.geoip.asnum eq 134543) or (ip.geoip.asnum eq 56040) or (ip.geoip.asnum eq 216419) or (ip.geoip.asnum eq 8560) or (ip.geoip.asnum eq 3170) or (ip.geoip.asnum eq 150436) or (ip.geoip.asnum eq 48635) or (ip.geoip.asnum eq 20473) or (ip.geoip.asnum eq 3170) or (ip.geoip.asnum eq 4847) or (ip.geoip.asnum eq 206092) or (ip.geoip.asnum eq 4837) or (ip.geoip.asnum eq 4808) or (ip.geoip.asnum eq 37705) or (ip.geoip.asnum eq 31148) or (ip.geoip.asnum eq 47331) or (ip.geoip.asnum eq 30083) or (ip.geoip.asnum eq 45090) or (ip.geoip.asnum eq 23724) or (ip.geoip.asnum eq 45102) or (ip.geoip.asnum eq 4134) or (ip.geoip.asnum eq 39832) or (ip.geoip.asnum eq 8972) or (ip.geoip.asnum eq 55569) or (ip.geoip.asnum eq 16276) or (ip.geoip.asnum eq 14061) or (ip.geoip.asnum eq 32934) or (ip.geoip.asnum eq 23033) or (ip.geoip.asnum eq 62041) or (ip.geoip.asnum eq 714) or (ip.geoip.asnum eq 136907) or (ip.geoip.asnum eq 31898) or (ip.geoip.asnum eq 47764) or (ip.geoip.asnum eq 209366) or (ip.geoip.asnum eq 47541) or (ip.geoip.asnum eq 19750) or (ip.geoip.asnum eq 44788) or (ip.geoip.asnum eq 14618) or (ip.geoip.asnum eq 37963) or (ip.geoip.asnum eq 55933) or (ip.geoip.asnum eq 39421) or (ip.geoip.asnum eq 8400) or (ip.geoip.asnum eq 60476) or (ip.geoip.asnum eq 174) or (ip.geoip.asnum eq 51765) or (ip.geoip.asnum eq 142403) or (ip.geoip.asnum eq 265053) or (ip.geoip.asnum eq 24940) or (ip.geoip.asnum eq 8075) or (ip.geoip.asnum eq 13737) or (ip.geoip.country eq "BJ") or (ip.geoip.country eq "DK") or (ip.geoip.country eq "HK") or (ip.geoip.country eq "TH") or (ip.geoip.country eq "ID") or (ip.geoip.country eq "AR") or (ip.geoip.country eq "BR") or (ip.geoip.country eq "PT") or (ip.geoip.country eq "CO") or (ip.geoip.country eq "BO") or (ip.geoip.country eq "PE") or (ip.geoip.country eq "GB") or (ip.geoip.country eq "BD") or (ip.geoip.country eq "VE") or (ip.geoip.country eq "EC") or (ip.geoip.country eq "BO") or (ip.geoip.country eq "VN") or (ip.geoip.country eq "ET") or (ip.geoip.country eq "KR") or (ip.geoip.country eq "IN") or (ip.geoip.country eq "FR") or (ip.geoip.country eq "FI") or (ip.geoip.country eq "PK") or (ip.geoip.country eq "MN") or (ip.geoip.country eq "KE") or (ip.geoip.country eq "UG") or (ip.geoip.country eq "PT") or (ip.geoip.country eq "MR") or (ip.geoip.country eq "FI") or (ip.geoip.country eq "RO") or (ip.geoip.country eq "MA") or (ip.geoip.country eq "BD") or (ip.geoip.country eq "HR") or (ip.geoip.country eq "CL") or (ip.geoip.country eq "SN") or (ip.geoip.country eq "AL") or (ip.geoip.country eq "LA") or (ip.geoip.country eq "AR") or (ip.geoip.country eq "IR") or (ip.geoip.country eq "SG") or (ip.geoip.country eq "JP") or (ip.geoip.country eq "PH") or (ip.geoip.country eq "CO") or (ip.geoip.country eq "SE") or (ip.geoip.country eq "MK") or (ip.geoip.country eq "DZ") or (ip.geoip.country eq "TH") or (ip.geoip.country eq "MY") or (ip.geoip.country eq "MT") or (ip.geoip.country eq "MX") or (ip.geoip.country eq "TN") or (ip.geoip.country eq "TR") or (ip.geoip.country eq "PE") or (ip.geoip.country eq "CV") or (ip.geoip.country eq "TW") or (ip.geoip.country eq "BE") or (ip.geoip.country eq "CA") or (ip.geoip.country eq "NL") or (ip.geoip.country eq "IE") or (ip.geoip.country eq "BA") or (ip.geoip.country eq "AT") or (ip.geoip.country eq "GT") or (ip.geoip.country eq "NO") or (ip.geoip.country eq "EG") or (ip.geoip.country eq "ZA") or (ip.geoip.asnum eq 47541) or (ip.geoip.asnum eq 47542)

 

[john_j]

Вот мне интересно как настроить проверку капчи если я захожу на форум и система вычисляет меня как бота допустим с прокси или впн... но при этом что бы не было проблемы с оплатами freekassa допустим, потому что если я включаю в ручную что я под атакой, любые платежы даже с юкассы, то платное повышение не срабатывает автоматически...

Возможо что никак.
Это лучше спросить в поддержке платежной системы.

 

[artscripts]

john_j, чтобы это дало понятие, напишите какие подсети блокируете? для чего? как правило заставлять по очередности чтобы они работали а не спотыкались о друг друга.

Что такое

• AS25513 ASN-MGTS-USPD
• AS52207 TULA-AS
• AS25159 SONICDUO-AS
  
  и как это правильно блокировать и так далее. Иначе это тема просто о том, что вы умеете и не более.

 

[john_j]

напишите какие подсети блокируете? для чего?

Так написал уже блокирую сети чисто хостеров, типа Hetzner и тд. Оттуда лезет много роботов.
Но, пред этим правилом, стоит правило "Skip", которое определяет что пропускать в последующих правилах, если выполнилось текущее. Это в двух словах не напишешь.




Важно понимать последвательность.
Например, если в первом правиле заблочены Индия, Китай, и тд, то Гугл из этих стран не сможет зайти на сайт.
Гугл имеет сервера по всему миру, хотя львиная доля находится в US.

То есть, правила для Гугла должны стоять выше, и в этом правиле должно стоять - skip zone lockdown
Так как боты Яндекс, Гугл, и другие уже известны CF, то их можно обьеденить в правилах, выбрав Search Engine Crawlers.

 

[Matew]

Да и вообще - централизация интернета это очень плохо.

А тип он без Клауда недостаточно централизован что ли?

 

[artscripts]

Да и вообще - централизация интернета это очень плохо.

если вам нужна децентрализация, то есть фонды, вам сюда ))

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[john_j]

Не знаю насколько верное решение, но при блокировки сетей (по номеру ASN), я смотрю не только какой компании принадлежит данная сеть, но и её деятельность.
В данном случае, сети можно разбить на несколько групп:

• Хостинг компания
• Интернет провайдер
• Хостинг + Интернет провайдер
• Прочие

Понятно, что IP-адреса чисто хостинг компаний принадлежат роботам, vpn, и всяким сервисам для сканирования сайта. Вот их можно блочить полностью. По всем другим - смотреть и определять нужно или не нужно. В случаях сомнения можно показывать капчу (JS Challenge).

Хотелось бы узнать по какому принципу, кто и как блочит.

 

[john_j]

На CF есть полезный ресурс -

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

C его помощью можно определить угрозы из сетей, сделать выводы по подозрительным сетям - кого-то заблочить, комуто показать капчу.
Например вводим в поиск номер AS 52007, получаем глобальные даннные по сети ADRIVER.

В статистике видим такой график:


Из которого видно, что эта сеть 100% не нужные нам боты. Полностью блочим в правилах.
Так-же на этом сайте можно найти и другие полезные сервиса.