robot.txt

Нужно ли добавлять строку в роботс Disallow: /members/ Встречал много примеров без него и себе поставил. И теперь у меня в Яндексе стопицот страниц профилей пользователей. Я полагаю, это не очень хорошо?

Всем привет! Ребята, несколько дней копал форум, но так и не нашел ни плагина, ни общего (средне-примерно подходящего большинству) файла robot.txt Кто в курсе, подскажите плагин помогающий сгенерировать файл. Или выложите обобщенный код, на основе которого можно смоделировать свой. К сожалению...

Добрый вечер Ребят, есть разница в robot.txt c режимом ЧПУ и без ?