Кто сталкивался с mj12bot.com ?

Статус
В этой теме нельзя размещать новые ответы.

jolygolfeed

Проверенные
Сообщения
307
Реакции
230
Баллы
3,345
Добрый день. Такая гадость заходит сотнями на сайт и грузит его. Кто-то сталкивался с этим?
Запросы обычно такие: HTTP/1.1", "RR": "", "UA": "Mozilla/5.0 (compatible; MJ12bot/v1.4.8; )", "RL": 431, "BE": " ", "CB": "1" }
 
Ну так там все на сайте и написано. Бот поисковой системы сеошников, которая индексирует ссылки.

Чтобы запретить индексацию нужно в robots.txt прописать
Код:
User-agent: MJ12bot
Disallow: /
(по крайней мере пишется, что бот учитывает это при обходе сайтов)

Чтобы уменьшить нагрузку (максимум 20 секунд)
Код:
User-Agent: MJ12bot
Crawl-Delay: 5
 
нужно в robots.txt прописать
Срать они хотели на robots.txt, это только рекомендация, а не запрет для бота

Такая гадость заходит сотнями на сайт и грузит его.
Банить нахрен да средствами сервера и все. Аля Majestic-12
 
Чего они Вам покоя не дают? Нормальные пацаны вообще. Потусят да уйдут... Они ещё просто после вчерашней субботы не отошли.
 
Последнее редактирование:
Срать они хотели на robots.txt, это только рекомендация, а не запрет для бота
Я понимаю, что рекомендация, но на самом сайте они пишут, что уважают эту директиву. Как вариант, можно посмотреть сработает ли robots.txt, а потом банить на стороне сервера, да
 
Ну так там все на сайте и написано. Бот поисковой системы сеошников, которая индексирует ссылки.

Чтобы запретить индексацию нужно в robots.txt прописать
Код:
User-agent: MJ12bot
Disallow: /
(по крайней мере пишется, что бот учитывает это при обходе сайтов)

Чтобы уменьшить нагрузку (максимум 20 секунд)
Код:
User-Agent: MJ12bot
Crawl-Delay: 5

Не помогает, по 300 гостей из США с таким запросом от маджестика. Я фигею.
 
Я понимаю, что рекомендация, но на самом сайте они пишут, что уважают эту директиву. Как вариант, можно посмотреть сработает ли robots.txt, а потом банить на стороне сервера, да
Еще на заборе можно написать, вдруг испугаются.
 
Защита их всех перебанила, а они снова с других адресов Амазона и так далее
Гады е***ые.
Попробую
 
Нормальные пацаны вообще.
Эти не нормальные.

а они снова с других адресов
Не по адресам нужно банить, а по userаgent. Пока они еще подписываются, это самое рабочее. Линк на пример выше.
 
Последнее редактирование:
Как мне их убить? Защиту постоянно включенной нет смысла держать, влияет на метрику.
 
Код:
#    Mod_security can interfere with uploading of content such as attachments. If you
#    cannot attach files, remove the "#" from the lines below.
#<IfModule mod_security.c>
#    SecFilterEngine Off
#    SecFilterScanPOST Off
#</IfModule>

ErrorDocument 401 default
ErrorDocument 403 default
ErrorDocument 404 default
ErrorDocument 405 default
ErrorDocument 406 default
ErrorDocument 500 default
ErrorDocument 501 default
ErrorDocument 503 default

<IfModule mod_rewrite.c>
    RewriteEngine On

    #    If you are having problems with the rewrite rules, remove the "#" from the
    #    line that begins "RewriteBase" below. You will also have to change the path
    #    of the rewrite to reflect the path to your XenForo installation.
    #RewriteBase /xenforo

    #    This line may be needed to enable WebDAV editing with PHP as a CGI.
    #RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}]

    RewriteCond %{REQUEST_FILENAME} -f [OR]
    RewriteCond %{REQUEST_FILENAME} -l [OR]
    RewriteCond %{REQUEST_FILENAME} -d
RewriteCond %{REQUEST_URI} !^/[0-9]+\..+\.cpaneldcv$
RewriteCond %{REQUEST_URI} !^/\.well-known/pki-validation/[A-F0-9]{32}\.txt(?:\ Comodo\ DCV)?$
RewriteCond %{REQUEST_URI} !^/\.well-known/cpanel-dcv/[0-9a-zA-Z_-]+$
RewriteCond %{REQUEST_URI} !^/\.well-known/pki-validation/(?:\ Ballot169)?
    RewriteRule ^.*$ - [NC,L]
RewriteCond %{REQUEST_URI} !^/[0-9]+\..+\.cpaneldcv$
RewriteCond %{REQUEST_URI} !^/\.well-known/pki-validation/[A-F0-9]{32}\.txt(?:\ Comodo\ DCV)?$
RewriteCond %{REQUEST_URI} !^/\.well-known/cpanel-dcv/[0-9a-zA-Z_-]+$
RewriteCond %{REQUEST_URI} !^/\.well-known/pki-validation/(?:\ Ballot169)?
    RewriteRule ^(data/|js/|styles/|install/|favicon\.ico|crossdomain\.xml|robots\.txt) - [NC,L]
RewriteCond %{REQUEST_URI} !^/[0-9]+\..+\.cpaneldcv$
RewriteCond %{REQUEST_URI} !^/\.well-known/pki-validation/[A-F0-9]{32}\.txt(?:\ Comodo\ DCV)?$
RewriteCond %{REQUEST_URI} !^/\.well-known/cpanel-dcv/[0-9a-zA-Z_-]+$
RewriteCond %{REQUEST_URI} !^/\.well-known/pki-validation/(?:\ Ballot169)?
    RewriteRule ^.*$ index.php [NC,L]
RewriteCond %{HTTP_USER_AGENT} SemrushBot
    RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot
    RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} MJ12bot
    RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Riddler
    RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} aiHitBot
    RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} trovitBot
    RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} Detectify
    RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} BLEXBot
    RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} LinkpadBot
    RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} dotbot
    RewriteRule (.*) - [F,L]
RewriteCond %{HTTP_USER_AGENT} FlipboardProxy
    RewriteRule (.*) - [F,L]   
</IfModule>

Правильно?

Чет их опять на сотку больше стало, htaccess не помогает.
 
Последнее редактирование модератором:
Короче, ничего так и не получилось. Все тоже самое, под сотку ботов, которые ходят по темам и бьют базу.
 
С другой темы:
Есть защита. не Cf. С гуглом вижу все в порядке.
На данном уровне должен быть файрвол для блокировки, смотрите свою защиту и ищите добавление своих правил
 
Статус
В этой теме нельзя размещать новые ответы.
Современный облачный хостинг провайдер | Aéza
Назад
Сверху Снизу