Majestic-12

[Dead Master]

Засек такое чудо (робот) Majestic-12
Кто то видел этого зверя?
Адрес ведет сюда

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Тревогу бить стоит? Первый раз такое вижу :hunter:

 

[SKRIPT]

Засек такое чудо (робот) Majestic-12
Кто то видел этого зверя?
Адрес ведет сюда

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Посмотреть вложение 56751
Тревогу бить стоит? Первый раз такое вижу :hunter:

Не особо понял из за чего тревогу то бить? он контент парсит?

 

[Dead Master]

SKRIPT, он час почти висел в одном месте, обычно столько роботы не сидят, и тем более в одном месте
да вижу это чудо в первые

 

[SKRIPT]

SKRIPT, он час почти висел в одном месте, обычно столько роботы не сидят, и тем более в одном месте
да вижу это чудо в первые

Они роботс используют впиши себе:
User-agent: MJ12bot
Disallow: /

 

[Smalesh]

Они роботс используют впиши себе:
User-agent: MJ12bot
Disallow: /

Еще на заборе можно написать, вдруг испугаются. Блокировать можно/нужно по UA, robots.txt для бота не более чем рекомендация, причем многие боты ее игнорируют, этот не исключение.

Пример блокировки по UA на nginx. Используем

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

, это быстро, читабельно, удобно.

В основной конфиг, в секцию http (в конец) дописываем

map $http_user_agent $badagent {
        default         0;
        ~*malicious     1;
        ~*backdoor      1;
        ~*netcrawler    1;
        ~Antivirx       1;
        ~Arian          1;
        ~webbandit      1;
        ~megaindex        1;
        ~brandwatch        1;
        ~majestic        1;
}

Работают регулярки и т.д.

Теперь у нас появилась переменная $badagent, которую можно использовать в любом удобном нам месте.

Для примера, что заблокировать эти UA в секции server дописываем выше или в корневой location

    if ($badagent) {
        return 403;
    }