Не индексируется сайт

[AvguR]

Подскажите плиз, у меня вообще файла robots.txt нет, как он должен выглядеть, точнее что туда вписать, чтобы роботы заходили? форум без доп.приложений пока. Поисковые роботы вообще не заходят на форум в админке вроде все настроено

 

[AvguR]

User-Agent: *
Disallow: /login/
Disallow: /lost-password/
Disallow: /online
Disallow: /search
Disallow: /help
Disallow: /find-new
Disallow: /index.php
Disallow: /goto
Disallow: /posts
Sitemap:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Host:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Спасибо

oxeo, а как сказать спасибо кнопочка есть?)

 

[CrazyCort]

AvguR, Они и так должны заходить,а robots.txt что бы ограничить некоторые разделы. Вот пример https://xenforo.info/robots.txt

 

[oxeo]

AvguR, и если чпу у вас отключено, то
содержимое файла будет другим.

 

[AvguR]

CrazyCort, а они не заходят вообще(

 

[AvguR]

oxeo, спасибо

 

[oxeo]

а они не заходят вообще(

пришли мне в личку ссылку - я ее в твиттер запощу и они придут...

 

[AvguR]

oxeo, а я по ходу не могу отправлять личные сообщения)

 

[Hope]

При чём тут файл robots и индексация форума поисковиками? Как написали выше, этот файл для запрета просмотра определённых страниц сайта поисковыми роботами, а не для индексации.
Для более быстрой индексации зарядите поисковикам карту сайта.

 

[AvguR]

Hope, а как это сделать? в админке карта включена

 

[Hope]

Там роботы пингуются и так. Значит просто ждите, всё будет. Это не по теме всё.

 

[oxeo]

oxeo, а я по ходу не могу отправлять личные сообщения)

ну тогда иди сюда

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[tnAnGel]

AvguR, прочти пожалуйста это обязательно, очень важная информация:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация