Например, я не хочу что-бы пока я полностью не закончил настройку форума он где-либо индексировался. Я ставлю в robots.txt disallow: /. если через неделю скажем я открою свой форум и удалю эту строку из robots как на это отреагируют поисковики? Будут ли они после этого нормально индексировать сайт или он так и не попадет в индекс а если попадет то через какое время? Оставит ли это следы на дальнейшей индексации?
- Статус
E
Enpit
Он начнёт выполнять заданные команды.
пока он видит, что доступ закрыт, он не будет индексировать сайт, как увидит доступ открыт начнёт следовать правилам в robots.txt.
Не какого вреда в вашем случаи не будет. И на индексацию не как в дальнейшем не повлияет, а чтобы стабильно ваш сайт индексировался вы должны распространять ссылки, или же в вебмастере гугла или яндекса можно попросить бота проиндексировать или же удалить индексацию определенных страниц.
пока он видит, что доступ закрыт, он не будет индексировать сайт, как увидит доступ открыт начнёт следовать правилам в robots.txt.
Не какого вреда в вашем случаи не будет. И на индексацию не как в дальнейшем не повлияет, а чтобы стабильно ваш сайт индексировался вы должны распространять ссылки, или же в вебмастере гугла или яндекса можно попросить бота проиндексировать или же удалить индексацию определенных страниц.
Последнее редактирование модератором:
Как же иногда не хватает реакции ?
Понял, благодарю за помощь!
- Статус
