Гугл озверел, че делать?

SKRIPT

Проверенные
Сообщения
127
Реакции
35
Баллы
3,330
2.PNG
3.PNG

И таких роботов 30 страниц....
XenForo их не может пинговать? сервер аж в шоке, хорошо nginx на апаче уже бы ОЗУ всю съел.
 
Отключаю домен все ок, проц на нулях, точно XenForo чет долбит не то.
в гугл вебмастер или как у них там называется(уточни это сам) есть возможно после подтверждения владения доменом уменьшить интенсивность сканирования, чтоб робот гугла не ложил сайты.



P.S. или это у яндекса есть такая настройка?
 
Это не гугл, это ддос с ботов, у которых прописан юзерагент гугла.
Гугл никогда не ходит с подсетей 62.210.0.0/16 (Online SAS), 23.229.0.0/17 (servermania) и т.д.
Смотри по whois подсеть и в бан ее. Нормальные пользователи с лоукост-провайдеров не лазят (если не тор и vpn, а кто ходит - сам себе буратино).

Кинь мне в личку логи за последние сутки, распарсю.
 
Последнее редактирование:
География запросов следующая (судя по скрину)
23.229.2.98 (B2 Net Solutions Inc, Buffalo, USA)
23.254.129.58 (Hostwinds LLC, Tulsa, USA)
62.210.112.95 France poneytelecom.eu Online SAS
162.244.15.188 (Power Up Hosting, Inc. , Los Angeles, USA)
212.129.35.227 France poneytelecom.eu Online SAS
212.129.57.72 France poneytelecom.eu Online SAS
209.126.119.23 server4you Inc., Sain Louis, USA
66.249.78.242 собственно бот Гугла, с этой подсетки (66.249) все боты гугла ходят.
91.121.112.93 OVH SAS France
80.189.11.81 RB ADSL, United Kingdom
И судя по списку гугл там совсем не причем.
 
Последнее редактирование:
Не завидую, уже пару месяцев борюсь и не знаю как отбиться . Уже через htaccess заблокировал страничку, куда ломятся. Стало чуть легче, но не долго.. Опять появилась нагрузка. Не знаю уже что и делать. Банить подсети не вариант. Забанил болеее 500+, результат не большой. Только появились жалобы от пользователей, что им не зайти на сайт.
 
Только появились жалобы от пользователей, что им не зайти на сайт.
Если у тебя народ лазит через vpn, то значит добавляй на эти подсети дополнительную проверку - капчу, лимит соединений, тесткуку и все в этом духе.
 
хм судя по географии трафик идет то со франции где и стоит сервер... напишу ка я в OVH мб ответят. DDoS навряд ли я не нужен не кому, конкурентов нет.

Да толку ваще 0! локаю подсети они с дргуих лезут...все подсети провайдеров.
Просто хрень какая то...но это не ддос точно...сайт то работает и нормально благо ресурсов хватает.
 
У меня аналогичная ситуация.
Я еще не разбирался с этой ситуацией, но висящая сотня гуглоботов в счетчике уже начинает напрягать. Что самое странное, эти боты долбятся в одну и туже тему.
Началось примерно несколько недель назад, до этого подобного не наблюдалось.
 
У меня аналогичная ситуация.
Я еще не разбирался с этой ситуацией, но висящая сотня гуглоботов в счетчике уже начинает напрягать. Что самое странное, эти боты долбятся в одну и туже тему.
Началось примерно несколько недель назад, до этого подобного не наблюдалось.

Да, тоже в одну тему долбятся. Поставил сайт под ClodFlare не помогло и даже включил проверку браузера....они идут мимо этого, как так?!Не ужели сам Xen вытворяет или пингует их. Вижу не у меня одного такое буду ждать и гуглить решение, банить диапазоны не вариант.
 
Последнее редактирование:
Вот мои красавчики, не все конечно, это сколько влезло в скрин
g_bot.png

Хех, взял сейчас вырубил для гостей раздел куда долбятся боты. Боты начали потихоньку сваливать, из 84-х осталось 32. Думаю через минут 10 и остальные свалят.
Как свалят попробую снова включить раздел для гостей и посмотрю вернутся ли роботы.

В общем итог такой, скрывать раздел на время бесполезно.
Скрываешь раздел от гостей и боты спустя минут 15 уходят.
Включаешь раздел и они за пару минут снова набегают.
В моем случае это скорее всего скраперы, они же парсеры. Мониторят темы и парсят контент при появлении новой информации. Тем более раздел как раз такой, в котором часто обновляемый контент.

На время оставлю раздел закрытым от гостей, потеряется конечно поисковый трафик, но и постоянно нагруженный сервер тоже не вариант.
В дальнейшем придется что-то придумывать.
 
У меня такое было, года два назад. Обращался в поддержку. Внятного ответа так тоже и не получил.
В итоге нашёл причину. Дело было в плагине от Brivium.
Не помню в каком, но в нем точно.
У вас установлено что-нибудь от них?
 
Да, тоже в одну тему долбятся. Поставил сайт под ClodFlare не помогло и даже включил проверку браузера....они идут мимо этого, как так?!Не ужели сам Xen вытворяет или пингует их. Вижу не у меня одного такое буду ждать и гуглить решение, банить диапазоны не вариант.
почему не вариант, это как раз таки вариант. зачем Вам подсеть хостинг провайдеров это же не юзеры, это же боты. я бы заблокировал подсеть 212.129.х.х
 
У меня такое было, года два назад. Обращался в поддержку. Внятного ответа так тоже и не получил.
В итоге нашёл причину. Дело было в плагине от Brivium.
Не помню в каком, но в нем точно.
У вас установлено что-нибудь от них?

Еще как уставлен, я тоже думал уже об этом, пойду ка попробую отрубить все от бривиум, да и вообще все поочередно. Отпишу потом.

Что это за хостинг/vds такой, что даже 100 юзеров-ботов выдержать не может?

Дело не в хостинге/сервере, дело в том что это дерьмо мешает анализировать онлайн, нагружает мои 4 ядра на половину. А может еще и уник. контент парсит.
 
Если у тебя народ лазит через vpn, то значит добавляй на эти подсети дополнительную проверку - капчу, лимит соединений, тесткуку и все в этом духе.
Нет, по их словам, они заходят с работы к примеру.
хм судя по географии трафик идет то со франции где и стоит сервер... напишу ка я в OVH мб ответят. DDoS навряд ли я не нужен не кому, конкурентов нет.

Да толку ваще 0! локаю подсети они с дргуих лезут...все подсети провайдеров.
Просто хрень какая то...но это не ддос точно...сайт то работает и нормально благо ресурсов хватает.
Код:
Deny from 178.32.0.0/15
Deny from 185.68.111.0/24
Deny from 62.210.0.0/17
Deny from 198.15.64.0/18
Deny from 212.129.32.0/19
Deny from 104.254.212.0/22
Deny from 46.246.32.0/19
Deny from 37.48.64.0/18
Deny from 118.71.128.0/18
Deny from 91.78.0.0/15
Deny from 91.236.74.0/23
Deny from 38.87.44.0/22
Deny from 149.202.99.128/28
Deny from 104.148.0.0/17
Deny from 104.238.192.0/18
Deny from 75.85.128.0/18
Deny from 37.59.0.0/16
Deny from 162.244.8.0/21
Deny from 195.154.48.0/20
Deny from 23.229.0.0/17
Deny from 5.79.64.0/18
Deny from 91.0.0.0/12
Deny from 91.16.0.0/13
Deny from 86.148.0.0/14
Deny from 86.152.0.0/13
Deny from 62.210.128.0/17
Deny from 104.245.96.0/21
Deny from 158.69.0.0/16
Deny from 42.112.224.0/20
Deny from 148.251.0.0/16
Deny from 138.128.112.0/24
Deny from 212.129.0.0/20
Deny from 212.129.16.0/22
Deny from 212.129.20.0/23
Deny from 206.217.128.0/20
Deny from 90.38.79.0/24
Deny from 167.114.171.0/24
Deny from 46.227.246.0/23
Deny from 125.212.224.0/19
Deny from 125.212.224.0/20
Deny from 185.68.108.0/22
Deny from 62.210.0.0/16
Deny from 68.192.0.0/13
Deny from 5.196.0.0/16
Deny from 212.129.0.0/18
Deny from 213.0.0.0/8
Deny from 213.251.128.0/18
Deny from 116.96.0.0/12
Deny from 116.100.0.0/16
Deny from 116.100.176.0/20
Deny from 195.0.0.0/8
Deny from 195.154.0.0/16
Deny from 71.93.128.0/19
Deny from 5.28.64.0/18
Deny from 5.28.96.0/19
Deny from 46.246.0.0/17
Deny from 46.246.32.0/19
Deny from 23.229.0.0/18
Deny from 162.216.46.0/24
Deny from 184.56.0.0/14
Deny from 184.57.0.0/17
Deny from 104.148.2.0/24
Deny from 88.224.0.0/11
Deny from 88.233.128.0/17
Deny from 88.233.192.0/21
Deny from 45.32.192.0/20
Deny from 213.241.0.0/17
Deny from 175.44.0.0/16
Deny from 45.117.156.0/22
Deny from 65.35.0.0/16
Deny from 52.28.0.0/16
Deny from 193.124.64.0/22
Deny from 104.218.48.0/21
Deny from 104.194.203.0/24
Deny from 104.194.202.0/23
Deny from 104.194.192.0/19
Deny from 173.199.124.0/22
Deny from 78.8.0.0/14
Deny from 180.252.0.0/16
Deny from 180.252.160.0/20
Deny from 159.192.0.0/16
Deny from 159.192.249.0/24
Deny from 178.175.0.0/18
Deny from 178.175.0.0/17
Deny from 37.57.235.0/24
Deny from 84.39.112.0/21
Deny from 175.101.144.0/24
Deny from 81.128.0.0/12
Deny from 81.128.0.0/11
Deny from 192.249.64.0/22
Deny from 149.202.0.0/16
Deny from 42.114.32.0/21
Deny from 42.114.32.0/20
Deny from 42.114.0.0/16
Deny from 42.112.0.0/13
Deny from 188.220.0.0/14
Deny from 104.200.154.0/24
Deny from 192.99.0.0/16
Deny from 23.96.0.0/14
Deny from 23.254.128.0/17
Deny from 104.168.128.0/17
Deny from 90.189.224.0/19
Deny from 90.189.128.0/17
Deny from 192.241.64.0/18
Deny from 104.172.0.0/14
Deny from 31.168.160.0/20
Deny from 212.83.160.0/19
Deny from 181.229.0.0/20
Deny from 181.229.0.0/19
Deny from 181.228.0.0/15
Deny from 200.68.90.0/24
Deny from 200.68.88.0/22
Deny from 200.68.80.0/20
Deny from 178.76.192.0/18
Deny from 66.55.128.0/19
Deny from 36.84.0.0/16
Deny from 98.242.128.0/17
Deny from 98.192.0.0/10
Deny from 52.10.0.0/15
Deny from 113.162.128.0/19
Deny from 192.198.80.0/20
Deny from 174.136.40.0/21
Deny from 174.136.0.0/18
Deny from 108.175.224.0/20
Deny from 108.61.228.0/23
Deny from 149.56.0.0/16
Deny from 89.159.0.0/16
Deny from 89.156.0.0/14
Deny from 82.32.0.0/16
Deny from 82.32.0.0/15
Deny from 82.32.0.0/12
Deny from 31.48.0.0/13
Deny from 27.77.0.0/20
Deny from 27.77.0.0/17
Deny from 27.72.0.0/13
Deny from 27.64.0.0/12
Deny from 172.98.67.0/24
Deny from 139.0.96.0/19
Deny from 63.249.51.0/24
Deny from 63.249.48.0/22
Deny from 113.190.224.0/20
Deny from 113.190.224.0/19
Deny from 27.125.137.0/24
Deny from 27.125.128.0/18
Deny from 78.101.176.0/20
Deny from 78.100.0.0/15
Deny from 68.187.48.0/20
Deny from 98.144.0.0/16
Deny from 92.40.248.0/24
Deny from 92.40.248.0/23
Deny from 92.40.128.0/17
Deny from 92.40.0.0/16
Deny from 92.40.0.0/15
Deny from 203.162.235.0/24
Deny from 203.162.234.0/23
Deny from 203.162.224.0/20
Deny from 119.81.0.0/18
Deny from 119.81.0.0/16
Deny from 81.169.192.0/18
Deny from 81.169.128.0/17
Deny from 178.125.0.0/16
Deny from 178.120.0.0/13
Deny from 65.93.132.0/22
Deny from 65.93.0.0/16
Deny from 162.213.36.0/24
Deny from 162.213.36.0/23
Deny from 176.103.112.0/21
Deny from 78.97.0.0/16
Deny from 78.96.0.0/15
Deny from 52.160.0.0/11
Deny from 117.6.112.0/20
Deny from 117.6.64.0/18
Deny from 117.6.0.0/16
Deny from 117.4.0.0/14
Deny from 75.84.0.0/15
Deny from 164.132.128.0/17
Deny from 164.132.0.0/16
Deny from 151.80.0.0/16
Deny from 13.64.0.0/11
Deny from 180.96.0.0/11
Deny from 73.68.0.0/15
Deny from 73.0.0.0/8
Deny from 75.82.0.0/15
Deny from 202.83.96.0/20
Deny from 202.83.109.0/24
Deny from 45.56.158.0/24
Deny from 45.56.128.0/18
Deny from 62.212.64.0/19
Deny from 73.224.0.0/16
Deny from 197.80.0.0/13
Deny from 89.24.0.0/16
Deny from 89.24.128.0/17
Deny from 148.163.0.0/17
Deny from 31.7.176.0/20
Deny from 14.161.64.0/19
Deny from 212.129.0.0/19
Deny from 212.129.0.0/18
Deny from 91.0.0.0/10
Deny from 121.98.0.0/16
Deny from 206.217.134.0/23
Deny from 212.66.32.0/20
Deny from 91.121.0.0/16
Deny from 106.186.64.0/18
Deny from 86.107.110.0/24
Deny from 89.211.0.0/16
Deny from 89.211.144.0/20
Deny from 5.254.112.0/24
Deny from 5.101.65.0/24
Deny from 5.101.64.0/23
Deny from 5.101.64.0/22
Deny from 71.17.0.0/16
Deny from 188.211.160.0/22
Deny from 217.131.208.0/20
Deny from 113.161.64.0/19
Deny from 198.8.80.0/24
Deny from 169.57.0.0/17
Deny from 109.234.37.0/24
Deny from 104.207.136.0/24
Deny from 104.207.136.0/21
Deny from 95.168.144.0/20
Deny from 95.168.128.0/19
Deny from 86.120.0.0/13
Deny from 54.154.0.0/16
Deny from 171.224.0.0/11
Deny from 171.248.0.0/13
Deny from 171.248.0.0/14
Deny from 171.249.112.0/20
Deny from 52.36.0.0/14
Deny from 62.233.32.0/19
Deny from 86.106.16.0/22
Deny from 68.64.172.0/23
Deny from 68.64.160.0/20
Deny from 68.64.128.0/18
Deny from 14.187.80.0/20
Deny from 103.238.80.0/22
Deny from 46.235.68.0/23
Deny from 92.43.104.0/21
Deny from 109.95.48.0/21
Deny from 85.250.0.0/16
Deny from 46.4.0.0/16
Deny from 67.2.0.0/16
Deny from 67.0.0.0/13
Deny from 107.152.128.0/17
Deny from 71.223.0.0/16
Deny from 71.208.0.0/12
Deny from 173.199.65.0/24
Deny from 113.23.0.0/17
Deny from 113.23.112.0/20
Deny from 70.177.128.0/19
Deny from 70.160.0.0/11
Deny from 50.198.240.0/20
Deny from 50.128.0.0/9
Deny from 175.42.0.0/15
Deny from 176.53.21.0/24
Deny from 113.22.32.0/20
Deny from 113.22.0.0/16
Deny from 146.185.16.0/20
Deny from 172.248.0.0/14
Deny from 82.189.0.0/16
Deny from 109.123.64.0/18
Deny from 83.8.0.0/16
Deny from 83.8.0.0/13
Deny from 83.0.0.0/11
Deny from 31.6.21.0/24
Deny from 121.224.0.0/12
Deny from 185.29.164.0/22
Deny from 108.61.122.0/23
Deny from 79.141.163.0/24
Deny from 50.2.0.0/15
Deny from 50.3.72.0/22
Deny from 88.120.0.0/13
Deny from 192.162.26.0/24
Deny from 110.77.197.0/24
Deny from 110.77.192.0/20
Deny from 144.76.0.0/16
Deny from 163.172.0.0/16
Deny from 209.222.0.0/20
Deny from 188.60.0.0/14
Deny from 188.62.0.0/15
Deny from 188.63.0.0/16
Держи друг, это часть, то что у меня осталась..)так там еще больше..)




Да и друзья, не скупитесь, если появится решение, напишите. Буду благодарен.
 
если атакуют с агентом бот гугла.
сделай скрипт проверки IP
если user-agent гугл бот то проверить ip если он принадлежит гуглу пропустить
если нет
запретить доступ
 
если атакуют с агентом бот гугла.
сделай скрипт проверки IP
если user-agent гугл бот то проверить ip если он принадлежит гуглу пропустить
если нет
запретить доступ
Сказать всегда просто, а вот сделать..)
 
в nginx есть сиcтема управления лимитами

на соединения:
на запросы:
 
Современный облачный хостинг провайдер | Aéza
Назад
Сверху Снизу