ЧПУ и robot.txt

[becdelbnik]

Добрый вечер

Ребят, есть разница в robot.txt c режимом ЧПУ и без ?

 

[Dead Master]

ЧПУ: это ссылки на полную новость которые будут иметь вид
Тип 1 -

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

новости.html

Тип 2 -

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

новости.html

Тип 3 -

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

новости.html

а robot.txt
Разрешает и запрещает индексацию
Для разрешения и запрета индексации есть две соответствующие команды - Allow (можно) и Disallow (нельзя).
User-agent: *
Disallow: /admin/
Disallow: /cache/
Disallow: /components/
User-agent: Yandex
Disallow: /admin/
Disallow: /cache/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Sitemap: http://yoursite.ru/structure/my_sitemaps.xml
Host: www.yoursite.ru

какой вывод следует сделать из этого?

 

[becdelbnik]

какой вывод следует сделать из этого?

Так, записываю.

 

[Smalesh]

Разрешает и запрещает индексацию

Исключительно рекомендует и не более, этот файл не может ничего запретить боту по определению. Часть ботов придерживается рекомендаций в robots.txt, часть ботов нагло игнорирует.

 

[Злодей]

Для разрешения и запрета индексации есть две соответствующие команды - Allow (можно) и Disallow (нельзя).

Это теперь каждый раздел и подфорум надо прописывать? Или достаточно категорию?

 

[tnAnGel]

Злодей, не нужно. Запретите сначала, куда ботам не лезть, а уже потом разрешите "все", т.е например.:

User-agent: *
Disallow: /login
Disallow: /login/login
Disallow: /admin.php
Disallow: /register
Disallow: /search/
Disallow: /lost-password/
Allow: /
Sitemap: https://твой_домен/sitemap.php

Не нужно все подряд прописывать :)

 

[25517]

Только robots.txt