Зачем нужны роботы?

Huodus

Проверенные
Сообщения
485
Реакции
47
Баллы
730
зачем нужны роботы?
 
Какие роботы?Роботы-пылесосы или терминаторы?)) Можно вопрос конкретизировать? Смею предположить,что Вы о роботах поисковых систем,которые индексируют веб-страницы.Если да, то другими словами, они собирают сведения о сайтах,что бы пользователи могли находить их в поисковиках. Т.е. ввели Вы в гугле,допустим "зачем нужны роботы?" и выдало Вашу тему на данном форуме т.к. роботы ее уже добавили в базу данных.

PS: Пытался объяснить своими словами,прошу прощения за корявость.
Вот статья в вики
 
Последнее редактирование:
BIOMOND, я понял.
а если на сайте стоит капча? на вход, или же клауд
 
BIOMOND, в исключение никак не поставить?
 
BIOMOND, в исключение никак не поставить?
Честно сказать, я не знаю этих тонкостей,не углублялся. Знаю лишь,что запретить можно им.:unsure:


Куча различной информации и тд должна быть в разделе , который называется SEO,т.к. это все взаимосвязано.
 
Блокировка не нужных ботов через .htaccess

В этой теме вижу, что блокируют ботов
Разве не профитнее, чтобы сайт анализировали, чтобы через поисковик вас нашли?
Иногда владельцам форумов или иных ресурсов это абсолютно не нужно. Как пример, закрытые торрент-трекеры.Зачем им индексация,если они закрытые? Разные ситуации бывают))
 
Huodus, при всем уважении, Вам лучше погуглить на эту тему. А то тапочками забросают ибо информации достаточно много в интернете :-)
 
Exile, как лучше использовать роботов? ваш совет интересует ;)
 
Recently lots of robots are visiting my website in order to do analytics spamming. Maybe on your one too.
You can filter them on your analytics panel, but you can't deny him to visit your website except if you put a blocking rule via htaccess.

Check out this link: Защита сайта от сканеров
 
Последнее редактирование:
Современный облачный хостинг провайдер | Aéza
Назад
Сверху Снизу