IlyaVolk
Проверенные
- Сообщения
- 13
- Реакции
- 0
- Баллы
- 698
Спасибо большое.Если использовать аддон [J] Ban VPN and Proxies, то нужно дополнительно прописывать боты поисковиков (те, которые движком определяется как гости) в аддоне Custom Robots.
Если все боты поисковиков прописаны (в движке и в Custom Robots), то они не режутся. Если не прописывать в Custom Robots, то будут пропускаться только боты, прописанные в движке.
Касательно того как определяет iphub боты поисковиков получил вчера ответ:
The reported IP belongs to Microsoft's business network. Thus, we list the IP as business. The API returns block for anything non residential, ISP's that fall under both residential and non-residential categories are classified Mixed ISP's which, by default behavior, do not return block, unless you use IPHub's strict mode.
To allow spiders onto your website you may whitelist by user agent. So, you may maintain a local list of bot user agents, then:
1. Upon IP query, reference the user agent whitelist.
2. If the IP isn't in the list, perform an IPHub query.
By default, this should allow spiders onto your website. But be warned, some bad bots may spoof their user agent to imitate good bots.
Т.е. все боты iphub априори определяются как non residential, т.е. "плахой"
PS.
Поставил этот аддон. Режит все, боты поисковиков пропускает. Нужно собрать солянку всех поисковых ботов и прописать в custom robots...
PPS.
Автор [J] Ban VPN and Proxies вроде как работает над опцией с функционалом как у custom robots, т.е. аддон вскоре должен сам уметь вайтлистить ботов
А то переживал =)