robots

Это облегчает распознавание роботов в текущем списке посетителей с первого взгляда.. ? Раньше: После:

Добрый день, уважаемые форумчане. Подскажите такой вопрос. Я хочу настроить правильно robots.txt. Перечитал все возможные темы как на этом форума так и просто из просторов интернета. И вот тут у меня вопрос, который я не могу понять. Я закрыл весь сайт из индексации Яндекс. Осталась только одна...

Например, я не хочу что-бы пока я полностью не закончил настройку форума он где-либо индексировался. Я ставлю в robots.txt disallow: /. если через неделю скажем я открою свой форум и удалю эту строку из robots как на это отреагируют поисковики? Будут ли они после этого нормально индексировать...

Запрещает роботам индексировать ваш форум. Присутствует настройка белых и черных списков, блокировка по определенному запросу и другое.

Здравствуйте ещё раз. В теме по плагинам сео я задавал аналогичный вопрос, но так и не получил ответа. Решил обратиться к вам т.к. проблема весьма существенная. Robots: User-agent: * Disallow: /subcategory/premium-vodka/ Disallow: /subcategory/govno-vodka/ Мы задаём поисковым роботам что...

Хотел бы попросить помощи с таким вопросом: Как запретить индексировать определенные страницы/темы на форуме к примеру вот нашел вариант: Запрет индексации страницы в мета-теге robots Для запрета индексации отдельной страницы можно воспользоваться мета-тегом robots. Особенность его...