Гугл озверел, че делать?

SKRIPT · 23 Июн 2016

И таких роботов 30 страниц....
XenForo их не может пинговать? сервер аж в шоке, хорошо nginx на апаче уже бы ОЗУ всю съел.

SKRIPT · 23 Июн 2016

Отключаю домен все ок, проц на нулях, точно XenForo чет долбит не то.

HellFire · 23 Июн 2016

SKRIPT написал(а):
Отключаю домен все ок, проц на нулях, точно XenForo чет долбит не то.

в гугл вебмастер или как у них там называется(уточни это сам) есть возможно после подтверждения владения доменом уменьшить интенсивность сканирования, чтоб робот гугла не ложил сайты.

P.S. или это у яндекса есть такая настройка?

Smalesh · 23 Июн 2016

Это не гугл, это ддос с ботов, у которых прописан юзерагент гугла.
Гугл никогда не ходит с подсетей 62.210.0.0/16 (Online SAS), 23.229.0.0/17 (servermania) и т.д.
Смотри по whois подсеть и в бан ее. Нормальные пользователи с лоукост-провайдеров не лазят (если не тор и vpn, а кто ходит - сам себе буратино).

Кинь мне в личку логи за последние сутки, распарсю.

HellFire · 23 Июн 2016

точняк, что-то не обратил внимание, что почти все метят в 1 место.

Updito · 23 Июн 2016

География запросов следующая (судя по скрину)
23.229.2.98 (B2 Net Solutions Inc, Buffalo, USA)
23.254.129.58 (Hostwinds LLC, Tulsa, USA)
62.210.112.95 France poneytelecom.eu Online SAS
162.244.15.188 (Power Up Hosting, Inc. , Los Angeles, USA)
212.129.35.227 France poneytelecom.eu Online SAS
212.129.57.72 France poneytelecom.eu Online SAS
209.126.119.23 server4you Inc., Sain Louis, USA
66.249.78.242 собственно бот Гугла, с этой подсетки (66.249) все боты гугла ходят.
91.121.112.93 OVH SAS France
80.189.11.81 RB ADSL, United Kingdom
И судя по списку гугл там совсем не причем.

guceds · 24 Июн 2016

Не завидую, уже пару месяцев борюсь и не знаю как отбиться . Уже через htaccess заблокировал страничку, куда ломятся. Стало чуть легче, но не долго.. Опять появилась нагрузка. Не знаю уже что и делать. Банить подсети не вариант. Забанил болеее 500+, результат не большой. Только появились жалобы от пользователей, что им не зайти на сайт.

Smalesh · 24 Июн 2016

guceds написал(а):
Только появились жалобы от пользователей, что им не зайти на сайт.

Если у тебя народ лазит через vpn, то значит добавляй на эти подсети дополнительную проверку - капчу, лимит соединений, тесткуку и все в этом духе.

SKRIPT · 24 Июн 2016

хм судя по географии трафик идет то со франции где и стоит сервер... напишу ка я в OVH мб ответят. DDoS навряд ли я не нужен не кому, конкурентов нет.

Да толку ваще 0! локаю подсети они с дргуих лезут...все подсети провайдеров.
Просто хрень какая то...но это не ддос точно...сайт то работает и нормально благо ресурсов хватает.

ValeCore · 24 Июн 2016

У меня аналогичная ситуация.
Я еще не разбирался с этой ситуацией, но висящая сотня гуглоботов в счетчике уже начинает напрягать. Что самое странное, эти боты долбятся в одну и туже тему.
Началось примерно несколько недель назад, до этого подобного не наблюдалось.

SKRIPT · 24 Июн 2016

ValeCore написал(а):
У меня аналогичная ситуация.
Я еще не разбирался с этой ситуацией, но висящая сотня гуглоботов в счетчике уже начинает напрягать. Что самое странное, эти боты долбятся в одну и туже тему.
Началось примерно несколько недель назад, до этого подобного не наблюдалось.

Да, тоже в одну тему долбятся. Поставил сайт под ClodFlare не помогло и даже включил проверку браузера....они идут мимо этого, как так?!Не ужели сам Xen вытворяет или пингует их. Вижу не у меня одного такое буду ждать и гуглить решение, банить диапазоны не вариант.

ValeCore · 24 Июн 2016

Вот мои красавчики, не все конечно, это сколько влезло в скрин

Хех, взял сейчас вырубил для гостей раздел куда долбятся боты. Боты начали потихоньку сваливать, из 84-х осталось 32. Думаю через минут 10 и остальные свалят.
Как свалят попробую снова включить раздел для гостей и посмотрю вернутся ли роботы.

В общем итог такой, скрывать раздел на время бесполезно.
Скрываешь раздел от гостей и боты спустя минут 15 уходят.
Включаешь раздел и они за пару минут снова набегают.
В моем случае это скорее всего скраперы, они же парсеры. Мониторят темы и парсят контент при появлении новой информации. Тем более раздел как раз такой, в котором часто обновляемый контент.

На время оставлю раздел закрытым от гостей, потеряется конечно поисковый трафик, но и постоянно нагруженный сервер тоже не вариант.
В дальнейшем придется что-то придумывать.

Miracle · 24 Июн 2016

Что это за хостинг/vds такой, что даже 100 юзеров-ботов выдержать не может?

Селиванов · 24 Июн 2016

У меня такое было, года два назад. Обращался в поддержку. Внятного ответа так тоже и не получил.
В итоге нашёл причину. Дело было в плагине от Brivium.
Не помню в каком, но в нем точно.
У вас установлено что-нибудь от них?

Updito · 24 Июн 2016

SKRIPT написал(а):
Да, тоже в одну тему долбятся. Поставил сайт под ClodFlare не помогло и даже включил проверку браузера....они идут мимо этого, как так?!Не ужели сам Xen вытворяет или пингует их. Вижу не у меня одного такое буду ждать и гуглить решение, банить диапазоны не вариант.

почему не вариант, это как раз таки вариант. зачем Вам подсеть хостинг провайдеров это же не юзеры, это же боты. я бы заблокировал подсеть 212.129.х.х

SKRIPT · 24 Июн 2016

Селиванов написал(а):
У меня такое было, года два назад. Обращался в поддержку. Внятного ответа так тоже и не получил.
В итоге нашёл причину. Дело было в плагине от Brivium.
Не помню в каком, но в нем точно.
У вас установлено что-нибудь от них?

Еще как уставлен, я тоже думал уже об этом, пойду ка попробую отрубить все от бривиум, да и вообще все поочередно. Отпишу потом.

Miracle написал(а):
Что это за хостинг/vds такой, что даже 100 юзеров-ботов выдержать не может?

Дело не в хостинге/сервере, дело в том что это дерьмо мешает анализировать онлайн, нагружает мои 4 ядра на половину. А может еще и уник. контент парсит.

guceds · 24 Июн 2016

Smalesh написал(а):
Если у тебя народ лазит через vpn, то значит добавляй на эти подсети дополнительную проверку - капчу, лимит соединений, тесткуку и все в этом духе.

Нет, по их словам, они заходят с работы к примеру.

SKRIPT написал(а):
хм судя по географии трафик идет то со франции где и стоит сервер... напишу ка я в OVH мб ответят. DDoS навряд ли я не нужен не кому, конкурентов нет.

Да толку ваще 0! локаю подсети они с дргуих лезут...все подсети провайдеров.
Просто хрень какая то...но это не ддос точно...сайт то работает и нормально благо ресурсов хватает.

Код:

Deny from 178.32.0.0/15
Deny from 185.68.111.0/24
Deny from 62.210.0.0/17
Deny from 198.15.64.0/18
Deny from 212.129.32.0/19
Deny from 104.254.212.0/22
Deny from 46.246.32.0/19
Deny from 37.48.64.0/18
Deny from 118.71.128.0/18
Deny from 91.78.0.0/15
Deny from 91.236.74.0/23
Deny from 38.87.44.0/22
Deny from 149.202.99.128/28
Deny from 104.148.0.0/17
Deny from 104.238.192.0/18
Deny from 75.85.128.0/18
Deny from 37.59.0.0/16
Deny from 162.244.8.0/21
Deny from 195.154.48.0/20
Deny from 23.229.0.0/17
Deny from 5.79.64.0/18
Deny from 91.0.0.0/12
Deny from 91.16.0.0/13
Deny from 86.148.0.0/14
Deny from 86.152.0.0/13
Deny from 62.210.128.0/17
Deny from 104.245.96.0/21
Deny from 158.69.0.0/16
Deny from 42.112.224.0/20
Deny from 148.251.0.0/16
Deny from 138.128.112.0/24
Deny from 212.129.0.0/20
Deny from 212.129.16.0/22
Deny from 212.129.20.0/23
Deny from 206.217.128.0/20
Deny from 90.38.79.0/24
Deny from 167.114.171.0/24
Deny from 46.227.246.0/23
Deny from 125.212.224.0/19
Deny from 125.212.224.0/20
Deny from 185.68.108.0/22
Deny from 62.210.0.0/16
Deny from 68.192.0.0/13
Deny from 5.196.0.0/16
Deny from 212.129.0.0/18
Deny from 213.0.0.0/8
Deny from 213.251.128.0/18
Deny from 116.96.0.0/12
Deny from 116.100.0.0/16
Deny from 116.100.176.0/20
Deny from 195.0.0.0/8
Deny from 195.154.0.0/16
Deny from 71.93.128.0/19
Deny from 5.28.64.0/18
Deny from 5.28.96.0/19
Deny from 46.246.0.0/17
Deny from 46.246.32.0/19
Deny from 23.229.0.0/18
Deny from 162.216.46.0/24
Deny from 184.56.0.0/14
Deny from 184.57.0.0/17
Deny from 104.148.2.0/24
Deny from 88.224.0.0/11
Deny from 88.233.128.0/17
Deny from 88.233.192.0/21
Deny from 45.32.192.0/20
Deny from 213.241.0.0/17
Deny from 175.44.0.0/16
Deny from 45.117.156.0/22
Deny from 65.35.0.0/16
Deny from 52.28.0.0/16
Deny from 193.124.64.0/22
Deny from 104.218.48.0/21
Deny from 104.194.203.0/24
Deny from 104.194.202.0/23
Deny from 104.194.192.0/19
Deny from 173.199.124.0/22
Deny from 78.8.0.0/14
Deny from 180.252.0.0/16
Deny from 180.252.160.0/20
Deny from 159.192.0.0/16
Deny from 159.192.249.0/24
Deny from 178.175.0.0/18
Deny from 178.175.0.0/17
Deny from 37.57.235.0/24
Deny from 84.39.112.0/21
Deny from 175.101.144.0/24
Deny from 81.128.0.0/12
Deny from 81.128.0.0/11
Deny from 192.249.64.0/22
Deny from 149.202.0.0/16
Deny from 42.114.32.0/21
Deny from 42.114.32.0/20
Deny from 42.114.0.0/16
Deny from 42.112.0.0/13
Deny from 188.220.0.0/14
Deny from 104.200.154.0/24
Deny from 192.99.0.0/16
Deny from 23.96.0.0/14
Deny from 23.254.128.0/17
Deny from 104.168.128.0/17
Deny from 90.189.224.0/19
Deny from 90.189.128.0/17
Deny from 192.241.64.0/18
Deny from 104.172.0.0/14
Deny from 31.168.160.0/20
Deny from 212.83.160.0/19
Deny from 181.229.0.0/20
Deny from 181.229.0.0/19
Deny from 181.228.0.0/15
Deny from 200.68.90.0/24
Deny from 200.68.88.0/22
Deny from 200.68.80.0/20
Deny from 178.76.192.0/18
Deny from 66.55.128.0/19
Deny from 36.84.0.0/16
Deny from 98.242.128.0/17
Deny from 98.192.0.0/10
Deny from 52.10.0.0/15
Deny from 113.162.128.0/19
Deny from 192.198.80.0/20
Deny from 174.136.40.0/21
Deny from 174.136.0.0/18
Deny from 108.175.224.0/20
Deny from 108.61.228.0/23
Deny from 149.56.0.0/16
Deny from 89.159.0.0/16
Deny from 89.156.0.0/14
Deny from 82.32.0.0/16
Deny from 82.32.0.0/15
Deny from 82.32.0.0/12
Deny from 31.48.0.0/13
Deny from 27.77.0.0/20
Deny from 27.77.0.0/17
Deny from 27.72.0.0/13
Deny from 27.64.0.0/12
Deny from 172.98.67.0/24
Deny from 139.0.96.0/19
Deny from 63.249.51.0/24
Deny from 63.249.48.0/22
Deny from 113.190.224.0/20
Deny from 113.190.224.0/19
Deny from 27.125.137.0/24
Deny from 27.125.128.0/18
Deny from 78.101.176.0/20
Deny from 78.100.0.0/15
Deny from 68.187.48.0/20
Deny from 98.144.0.0/16
Deny from 92.40.248.0/24
Deny from 92.40.248.0/23
Deny from 92.40.128.0/17
Deny from 92.40.0.0/16
Deny from 92.40.0.0/15
Deny from 203.162.235.0/24
Deny from 203.162.234.0/23
Deny from 203.162.224.0/20
Deny from 119.81.0.0/18
Deny from 119.81.0.0/16
Deny from 81.169.192.0/18
Deny from 81.169.128.0/17
Deny from 178.125.0.0/16
Deny from 178.120.0.0/13
Deny from 65.93.132.0/22
Deny from 65.93.0.0/16
Deny from 162.213.36.0/24
Deny from 162.213.36.0/23
Deny from 176.103.112.0/21
Deny from 78.97.0.0/16
Deny from 78.96.0.0/15
Deny from 52.160.0.0/11
Deny from 117.6.112.0/20
Deny from 117.6.64.0/18
Deny from 117.6.0.0/16
Deny from 117.4.0.0/14
Deny from 75.84.0.0/15
Deny from 164.132.128.0/17
Deny from 164.132.0.0/16
Deny from 151.80.0.0/16
Deny from 13.64.0.0/11
Deny from 180.96.0.0/11
Deny from 73.68.0.0/15
Deny from 73.0.0.0/8
Deny from 75.82.0.0/15
Deny from 202.83.96.0/20
Deny from 202.83.109.0/24
Deny from 45.56.158.0/24
Deny from 45.56.128.0/18
Deny from 62.212.64.0/19
Deny from 73.224.0.0/16
Deny from 197.80.0.0/13
Deny from 89.24.0.0/16
Deny from 89.24.128.0/17
Deny from 148.163.0.0/17
Deny from 31.7.176.0/20
Deny from 14.161.64.0/19
Deny from 212.129.0.0/19
Deny from 212.129.0.0/18
Deny from 91.0.0.0/10
Deny from 121.98.0.0/16
Deny from 206.217.134.0/23
Deny from 212.66.32.0/20
Deny from 91.121.0.0/16
Deny from 106.186.64.0/18
Deny from 86.107.110.0/24
Deny from 89.211.0.0/16
Deny from 89.211.144.0/20
Deny from 5.254.112.0/24
Deny from 5.101.65.0/24
Deny from 5.101.64.0/23
Deny from 5.101.64.0/22
Deny from 71.17.0.0/16
Deny from 188.211.160.0/22
Deny from 217.131.208.0/20
Deny from 113.161.64.0/19
Deny from 198.8.80.0/24
Deny from 169.57.0.0/17
Deny from 109.234.37.0/24
Deny from 104.207.136.0/24
Deny from 104.207.136.0/21
Deny from 95.168.144.0/20
Deny from 95.168.128.0/19
Deny from 86.120.0.0/13
Deny from 54.154.0.0/16
Deny from 171.224.0.0/11
Deny from 171.248.0.0/13
Deny from 171.248.0.0/14
Deny from 171.249.112.0/20
Deny from 52.36.0.0/14
Deny from 62.233.32.0/19
Deny from 86.106.16.0/22
Deny from 68.64.172.0/23
Deny from 68.64.160.0/20
Deny from 68.64.128.0/18
Deny from 14.187.80.0/20
Deny from 103.238.80.0/22
Deny from 46.235.68.0/23
Deny from 92.43.104.0/21
Deny from 109.95.48.0/21
Deny from 85.250.0.0/16
Deny from 46.4.0.0/16
Deny from 67.2.0.0/16
Deny from 67.0.0.0/13
Deny from 107.152.128.0/17
Deny from 71.223.0.0/16
Deny from 71.208.0.0/12
Deny from 173.199.65.0/24
Deny from 113.23.0.0/17
Deny from 113.23.112.0/20
Deny from 70.177.128.0/19
Deny from 70.160.0.0/11
Deny from 50.198.240.0/20
Deny from 50.128.0.0/9
Deny from 175.42.0.0/15
Deny from 176.53.21.0/24
Deny from 113.22.32.0/20
Deny from 113.22.0.0/16
Deny from 146.185.16.0/20
Deny from 172.248.0.0/14
Deny from 82.189.0.0/16
Deny from 109.123.64.0/18
Deny from 83.8.0.0/16
Deny from 83.8.0.0/13
Deny from 83.0.0.0/11
Deny from 31.6.21.0/24
Deny from 121.224.0.0/12
Deny from 185.29.164.0/22
Deny from 108.61.122.0/23
Deny from 79.141.163.0/24
Deny from 50.2.0.0/15
Deny from 50.3.72.0/22
Deny from 88.120.0.0/13
Deny from 192.162.26.0/24
Deny from 110.77.197.0/24
Deny from 110.77.192.0/20
Deny from 144.76.0.0/16
Deny from 163.172.0.0/16
Deny from 209.222.0.0/20
Deny from 188.60.0.0/14
Deny from 188.62.0.0/15
Deny from 188.63.0.0/16

Держи друг, это часть, то что у меня осталась..)так там еще больше..)

Да и друзья, не скупитесь, если появится решение, напишите. Буду благодарен.

xaker01 · 24 Июн 2016

если атакуют с агентом бот гугла.
сделай скрипт проверки IP
если user-agent гугл бот то проверить ip если он принадлежит гуглу пропустить
если нет
запретить доступ

guceds · 24 Июн 2016

xaker01 написал(а):
если атакуют с агентом бот гугла.
сделай скрипт проверки IP
если user-agent гугл бот то проверить ip если он принадлежит гуглу пропустить
если нет
запретить доступ

Сказать всегда просто, а вот сделать..)

oxeo · 24 Июн 2016

в nginx есть сиcтема управления лимитами

на соединения:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

на запросы:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Гугл озверел, че делать?

SKRIPT

SKRIPT

HellFire

Smalesh

HellFire

Updito

guceds

Smalesh

SKRIPT

ValeCore

SKRIPT

ValeCore

Miracle

Селиванов

Updito

SKRIPT

guceds

xaker01

guceds

oxeo

Похожие темы

Мы ценим вашу конфиденциальность