XF 1.5 Robots.txt

[niko22]

Народ помогите плиз составьте как правильно должно быть, сам не понимаю но догадываюсь что там половина лишнего(

Сейчас он такой.

# robots.txt
User-agent: *
Disallow: /*lofiversion
Disallow: /*setlanguage
Disallow: /*?s=
Disallow: /*ptopic
Disallow: /*act=SF&s=&f
Disallow: /*s0
Disallow: /*pid=
Disallow: /*?start=
Disallow: /*Print
Disallow: /*print
Disallow: /*CP&CODE
Disallow: /*js
Disallow: /*style_images
Disallow: /*java
Disallow: /*cache
Disallow: /*?showuser
Disallow: /*showuser
Disallow: /*?Showuser
Disallow: /*?act=act=attach
Disallow: /*?act=act=Attach
Disallow: /*aboutme&mid
Disallow: /*?act=calendar
Disallow: /*?act=Calendar
Disallow: /*?act=login
Disallow: /*?act=Login
Disallow: /*?act=post
Disallow: /*?act=reg
Disallow: /*?act=Reg
Disallow: /*?act=online
Disallow: /*?act=Online
Disallow: /*?act=members
Disallow: /*?act=Members
Disallow: /*?act=help
Disallow: /*?act=Help
Disallow: /*?act=search
Disallow: /*?act=Search
Disallow: /*?act=forward
Disallow: /*?act=Forward
Disallow: /*?act=mail
Disallow: /*?act=Mail
Disallow: /*?act=report
Disallow: /*?act=chat
Disallow: /*?act=msg
Disallow: /*?act=usercp
Disallow: /*?act=Usercp
Disallow: /*?act=profile
Disallow: /*?act=track
Disallow: /*?act=stats
Disallow: /*?act=Stats
Disallow: /*?act=attach
Disallow: /*?act=legends
Disallow: /*?act=mmod
Disallow: /*?act=warn
Disallow: /*?act=task
Disallow: /*?act=findpost
Disallow: /*?act=paysubs
Disallow: /*view=getnewpost$
Disallow: /*view=getlastpost$
Disallow: /*view=old$
Disallow: /*view=new$
Disallow: /*view=getfirst$
Disallow: /*view=getprevious$
Disallow: /*view=getnext$
Disallow: /*view=getlast$
Disallow: /*mode=linear
Disallow: /*mode=threaded
Disallow: /*mode=linearplus
Disallow: /*&p=
Disallow: /*?p=
Disallow: /*&gopid=
Disallow: /*?gopid=
Disallow: /*&hl=
Disallow: /*?hl=
Disallow: /*&cal_id
Disallow: /register.html

Host: zverolov.com

Sitemap: http://zverolov.com/sitemap.xml

 

[Hope]

Я думаю, что правильно вот так всё же:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[niko22]

и это несмотря на то что у меня стоит больше приложений чем тут?

 

[Hope]

А, то есть нам ещё нужно угадывать Ваши приложения? Тогда я без понятия...

 

[Jused]

Hope,
Sitemap:

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Разве не к файлу карты сайта тут должно вести? то есть sitemap.xml ?

 

[Hope]

Там всё верно.

 

[Jused]

Там всё верно.

Понял, но есть одно но!
Я как понял, что

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

- этот файл генерирует карту сайта в формате .xml
НО, у меня на форуме почему то карта сайта скачивается в формате: sitemap-1.xml.gz
Разве так должно быть? Как поисковик её себе скачает то?

 

[Hope]

Всё нормально там сделано, всё работает, просто не лезьте туда и всё. :)

 

[Exile]

lofiversion

У вас файл от vBulletin. Естественно он НЕ правильный.

 

[russian14]

А если у меня сайт идёт главным доменом а форум в поддомене? мойсайт.ру/forum/ в таком случае второй robots.txt нужен?

 

[Hope]

Нет

 

[russian14]

Нет

Но ведь роботы имеют доступ в папку forum и там полностью всё анализируют, так зачем им анализировать админские папки xenforo? Разве не лучше будет им запретить сканировать движковые файлы?

 

[Hope]

Этот файл должен быть один и только в корне, в нём уже всё и запрещайте.