XF 1.5 Боты засоряют форум

[Fluber]

Всем привет, недавно на моем форуме стала появляться странная статистика онлайна, каким-то образом более 100+ гостей заходят и смотрят одну и ту же страницу, подозреваю, что это боты. Как с ними бороться?

 

[DeeMon]

каким-то образом

Обычным 100%.

более 100+ гостей заходят и смотрят одну и ту же страницу

Бывает кстати так сервера глючат.

подозреваю, что это боты

Посмотрите по IP и манере поведения и времени.

 

[DEVIL]

чистить колонку xf_sessions :-D

 

[Fluber]

Hope, Mirovinger а вы что скажете?

 

[Hope]

Hope, Mirovinger а вы что скажете?

Мы скажем, что к XenForo это не имеет никакого отношения.

 

[Fluber]

Мы скажем, что к XenForo это не имеет никакого отношения.

Как вы защищаетесь от этого?

 

[Hope]

Никак.

 

[Smalesh]

Никак.

Тут это, анекдот вспомнился

На медосмотре врач замечает у мужчины лобковых вшей.
Доктор:
- Вы знаете что у Вас лобковые вши?
Пациент:
- Знаю.
Доктор:
- А чем Вы их лечите?
Пациент:
- Ничем, они у меня не болеют.

 

[Exile]

Hope, Mirovinger а вы что скажете?

Если у вас есть время смотреть какие страницы смотрят ваши гости форума, то у меня для вас плохие новости.

 

[SuchMuch]

Столкнулся с набегами ботов...
Приметил тут аддон, который режет их:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Что скажите, стоит заиметь таковой?

 

[Hope]

Ну тут только Вам решать, нужен данный плагин Вам или нет.

 

[SuchMuch]

Ну тут только Вам решать, нужен данный плагин Вам или нет.

Интересны мнения других опытных пользователей и все "за" и "против". Единственное, что сейчас смущает что гости от яндекс, гугл зарежут

 

[Hope]

Единственное, что сейчас смущает что гости от яндекс, гугл зарежут

Нет. Там проверяется файл robot, который идёт в поставке движка и всё, что в нём прописано, то данный плагин не режет.

 

[IlyaVolk]

А статистика форума падает?
Я имею в виду, что если водить в браузере название сайта то его потом не найти.
Как вы думаете ?

 

[SuchMuch]

А статистика форума падает?
Я имею в виду, что если водить в браузере название сайта то его потом не найти.
Как вы думаете ?

Если использовать аддон [J] Ban VPN and Proxies, то нужно дополнительно прописывать боты поисковиков (те, которые движком определяется как гости) в аддоне Custom Robots.

Если все боты поисковиков прописаны (в движке и в Custom Robots), то они не режутся. Если не прописывать в Custom Robots, то будут пропускаться только боты, прописанные в движке.

Касательно того как определяет iphub боты поисковиков получил вчера ответ:

Спойлер

The reported IP belongs to Microsoft's business network. Thus, we list the IP as business. The API returns block for anything non residential, ISP's that fall under both residential and non-residential categories are classified Mixed ISP's which, by default behavior, do not return block, unless you use IPHub's strict mode.

To allow spiders onto your website you may whitelist by user agent. So, you may maintain a local list of bot user agents, then:

1. Upon IP query, reference the user agent whitelist.
2. If the IP isn't in the list, perform an IPHub query.

By default, this should allow spiders onto your website. But be warned, some bad bots may spoof their user agent to imitate good bots.

Т.е. все боты iphub априори определяются как non residential, т.е. "плахой"

PS.
Поставил этот аддон. Режит все, боты поисковиков пропускает. Нужно собрать солянку всех поисковых ботов и прописать в custom robots...

PPS.
Автор [J] Ban VPN and Proxies вроде как работает над опцией с функционалом как у custom robots, т.е. аддон вскоре должен сам уметь вайтлистить ботов

PPPS.
Через недельку выложу статистику режутся ли боты основных поисковых систем или нет. Аддон очень бодро вырезает tor, proxy и всякие левые боты

 

[Smalesh]

Аддон очень бодро вырезает tor, proxy и всякие левые боты

и честных юзверей, у которых стоит роутер, отвечающий на 80-й или что-то подобное

 

[Captain]

И не только их, а ещё юзверей за натом привет

 

[SuchMuch]

и честных юзверей, у которых стоит роутер, отвечающий на 80-й или что-то подобное

Режет по сути iphub. Как iphub идентифицирует честных юзверей, у которых стоит роутер, отвечающий на 80-й или что-то подобное и прочих за натом?