Файл robots.txt

[>.P.S.I.X.<]

Это что получается, мне самому надо это файл создать и кинуть в корень?

 

[Arisu]

Это что получается, мне самому надо это файл создать и кинуть в корень?

Именно так.

 

[ganapathi]

Is there any way to remove links and information already gathered by google by using of robots.txt ???

 

[Arisu]

Is there any way to remove links and information already gathered by google by using of robots.txt ???

Yes it is possible in google webmasters panel. You can ask to delete one url at a time from index. Or you can ask google to reindex the whole site. Or you can write links in robots.txt and google will soon hide them from index

 

[abdoo]

User-agent: *
Disallow: /register.html
Disallow: /attachments/
Disallow: /admin.php
Disallow: /birthdays/
Disallow: /find-new/
Disallow: /forums/*/?direction
Disallow: /forums/*/?order
Disallow: /forums/*/page-*?order
Disallow: /help/
Disallow: /login/
Disallow: /lost-password/
Disallow: /misc/
Disallow: /online/
Disallow: /posts/
Disallow: /register
Disallow: /search/
Disallow: /search.php
Disallow: /threads/*/poll
Disallow: /WhoHasVisited/
Disallow: /recent-activity/
Disallow: /advstats/
Disallow: /members/
Disallow: /BanList/

Host: URL моего сайта

Sitemap: Мой сайтмап

 

[kisj-d]

Кто знает как закрыть от индексации или исправить. Даже на данном форуме это есть. https://xenforo.info/threads/Файл-robots-txt.466/forums/-/index.rss - не найдено. Не знаю отнести к багу или нет. Но google не сильно нравится такая индексация 404

 

[Drakon]

хотелось бы только подчеркнуть .. что "роботс.тхт" не панацея, не всегда его Боты слушаются, они к нему относятся лишь как к рекомендации

про 404 - ничего страшного нет. если процент таких страниц не велик

для обычных сайтов я сам писал систему, и у меня все жестко тама, все запросы идет на главный скрипт, и тама четкие правила ..

как я успел заметить, что понравилось, тут нечто схожее, но еще не ковырял .. повникаю, отпишусь

ПС: более верным, сейчас считается использовать тег "канноникал", тут я его увы не вижу ..

 

[rriaz]

Буквально недавно я понял, что этот файл - нужная вещь, и относится к нему надо обдуманно. Дело в том, что я сменил CMS на сайте, страницы поменялись, структура, дизайн. Старые страницы я запретил в роботсе, в общем провел над его корректировкой около 3 часов, не зря .

 

[hakypuhbiu]

В robots.txt не нужно запрещать путь к файлу админ-панели, так как это .тхт файл и его можно посмотреть на любом сайте где он есть введя ( Домен/robots.txt ) И узнать путь к админке.

Вот думаю оптимальный вариант.

User-agent: *
Disallow: /account/
Disallow: /birthdays/
Disallow: /f/*/?direction
Disallow: /f/*/?order
Disallow: /f/*/page-*?order
Disallow: /js/
Disallow: /login/
Disallow: /logout/
Disallow: /lost-password/
Disallow: /members/
Disallow: /misc/
Disallow: /moderation-queue/
Disallow: /online/
Disallow: /register
Disallow: /register.html
Disallow: /search.php
Disallow: /search/
Disallow: /resources/authors
Disallow: /resources/authors/
Host: Domain.ru

 

[ДИМАН777]

парни друг посоветовал сделать вот такой вариант
User-Agent: *
Disallow:
Host: мой url

а я сделал себе такой

2 вариант

User-agent: *
Disallow:
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search

User-agent: Yandex
Disallow:
Disallow: /a/
Disallow: /stat/
Disallow: /index/1
Disallow: /index/2
Disallow: /index/3
Disallow: /index/5
Disallow: /index/7
Disallow: /index/8
Disallow: /index/9
Disallow: /panel/
Disallow: /admin/
Disallow: /secure/
Disallow: /informer/
Disallow: /mchat
Disallow: /search
Host:
Sitemap:

если поставить 1 вариант то
ничего не изменится?
закроется ли доступ яндексу?

 

[Exile]

а я сделал себе такой

Копировать примеры с интернета не разобравшись для чего они - не самое умное решение. Приведенный вами пример никакого отношения к XenForo не имеет и ставить его не надо.

 

[)|(yJIuK]

Hope, как включить этот robots.txt ? Куда кинуть ? И что в тектовике писать ? Просто интересно ))

 

[Hope]

https://xenforo.info/robots.txt

 

[)|(yJIuK]

Hope, а где настроить sitemap ?

 

[Hope]

/admin.php?options/list/sitemap

 

[becdelbnik]

А как вот это /index.php?find-new/1829537/posts правильно запретить ?

Disallow: /find-new/
или
Disallow: /posts/

?

 

[hakypuhbiu]

becdelbnik, Вот хороший robots.txt без ошибок в вебмастере яндекс.

robots

User-agent: *
Crawl-Delay: 15

Disallow: /register.html
Disallow: /account/
Disallow: /attachments/
Disallow: /birthdays/
Disallow: /conversations/
Disallow: /find-new/
Disallow: /forums/*/?direction
Disallow: /forums/*/?order
Disallow: /forums/*/mark-read?date
Disallow: /forums/*/page-*?order
Disallow: /help/
Disallow: /login/
Disallow: /lost-password/
Disallow: /members/
Disallow: /misc/
Disallow: /online/
Disallow: /pages/privacy/
Disallow: /posts/
Disallow: /recent-activity/
Disallow: /register
Disallow: /resources/?order
Disallow: /resources/*/download?version
Disallow: /resources/*/history
Disallow: /resources/*/update?resource_update_id
Disallow: /resources/authors/
Disallow: /resources/categories/*/?order
Disallow: /search
Disallow: /search.php
Disallow: /threads/*/poll

Host: Ваш домен.ru
Sitemap: http://Ваш домен.ru/sitemap.php

 

[Hope]

А как вот это /index.php?find-new/1829537/posts правильно запретить ?

/find-new/

 

[Exile]

Hope, такой не запретит из-за слешей.

becdelbnik, ЧПУ настройте.

 

[Hope]

Hope, такой не запретит из-за слешей.

:O_o: Всё прекрасно работает и тут, и на офе...