Защита от парсинга сайта.

[www1]

Защита от парсинга сайта.

Говорят,что у них(владельцев парсера) есть техническая возможность ежедневно отслеживать контент сайта в ежедневно вносить изменения,если эти изменения есть на оригинальном сайте.

То есть какой-то юзер(или прога , вместо юзера) прыгает с темы на тему у меня на форуме, а я об этом и не знаю?

OFFTOP

Я на этом форуме создавал тему,типа " как отслеживать, куда ,(на какие темы) и во сколько переходит юзер , который приходит на сайт(лог сайта)" , но получил ответ"это невозможно"

Что посоветуете?

 

[Nappsel]

www1, зависит от того о каком контенте идёт речь. Если отслеживать темы и по созданию новых получать их себе, то это вполне может быть обычная RSS-лента. Форум просто будет каждые N минут обращаться к указанной ленте и если в ней есть новый контент, публиковать его у себя.

 

[Flylink]

Защита от парсинга сайта.

Говорят,что у них(владельцев парсера) есть техническая возможность ежедневно отслеживать контент сайта в ежедневно вносить изменения,если эти изменения есть на оригинальном сайте.

То есть какой-то юзер(или прога , вместо юзера) прыгает с темы на тему у меня на форуме, а я об этом и не знаю?

OFFTOP

Я на этом форуме создавал тему,типа " как отслеживать, куда ,(на какие темы) и во сколько переходит юзер , который приходит на сайт(лог сайта)" , но получил ответ"это невозможно"

Что посоветуете?

Тут ничего не по советующей, защиты от этого нет.

 

[DobriyChelovek]

От парсинга ничего не спасёт, капча и т.п. только лишние 5 минут работы для программиста. Но я могу посоветовать менять в темах ссылки. Чтобы вместо

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

, было

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

, что-то типо base64 с примочками своего алгоритма и при переходе на ваш redirect была задержка(можно рекламу :-), проверка куки, можно проверить кеш пикселя. И при всём этом, это тоже обходится.
//upd логируйте каждый запрос пользователя и сопоставляйте к повторам. Любой парс, это какой-то шаблон.

 

[HackBox]

Защита от парсинга сайта.

Говорят,что у них(владельцев парсера) есть техническая возможность ежедневно отслеживать контент сайта в ежедневно вносить изменения,если эти изменения есть на оригинальном сайте.

То есть какой-то юзер(или прога , вместо юзера) прыгает с темы на тему у меня на форуме, а я об этом и не знаю?

OFFTOP

Я на этом форуме создавал тему,типа " как отслеживать, куда ,(на какие темы) и во сколько переходит юзер , который приходит на сайт(лог сайта)" , но получил ответ"это невозможно"

Что посоветуете?

Чтобы узнать, парсят ли Ваш сайт, необходимо смотреть логи посещений и выявлять роботов.
Защититься от парсенга возможно с помощью сервисов, который шифруют html код. Как вариант блокировать подозрительные IP адреса из логог.

 

[butik]

Сделайте как tiu.ru или как на hotline.ua - если периодически юзер часто переходит по страницам на форуме то потенциально это парсер и не помешало бы пройти верификацию ReCaptcha v2, юзер разгадает (и проверки хватает на пару суток например), а персер нет вот и вся защита)

 

[DobriyChelovek]

Сделайте как tiu.ru или как на hotline.ua - если периодически юзер часто переходит по страницам на форуме то потенциально это парсер и не помешало бы пройти верификацию ReCaptcha v2, юзер разгадает (и проверки хватает на пару суток например), а персер нет вот и вся защита)

наивно =) Ре2 уже обходится так же просто как и обычная капча.

 

[butik]

Слова по ветру или пруф есть как в парсеры обычные рекаптчу прикпучивают?)
Врятли кто захочет чтобы при парсинге сливало $ на каптчу? - В таких случаях просто ищу альтернативный источник.

 

[DobriyChelovek]

butik, я обхожу с помощью сервиса рукапчи. С форумами которыми я работаю 1 капча в день. Если посчитать затраты 20р в месяц (копейки в сравнении с серверами). Мы же не говорим про обычных олухов. Обходиться всё и вся.
Если что обращайтесь c бюджетом не меньше 150$. //Может кому надо, что-то спарсить или тому подобное.

 

[HackBox]

butik, я обхожу с помощью сервиса рукапчи. С форумами которыми я работаю 1 капча в день. Если посчитать затраты 20р в месяц (копейки в сравнении с серверами). Мы же не говорим про обычных олухов. Обходиться всё и вся.
Если что обращайтесь c бюджетом не меньше 150$. //Может кому надо, что-то спарсить или тому подобное.

А у Вас готовые базы есть? Интересует любая тематика, которая есть в наличии, в том числе комерция, интернет-магазины.