XF 1.5 Файл robot.txt

[mrfmrka]

Всем привет!
Ребята, несколько дней копал форум, но так и не нашел ни плагина, ни общего (средне-примерно подходящего большинству) файла robot.txt
Кто в курсе, подскажите плагин помогающий сгенерировать файл. Или выложите обобщенный код, на основе которого можно смоделировать свой.
К сожалению, я сам не могу сделать этого по причине того, что только-только начал пробовать данный форум и понятия не имею, что можно закрыть, что нельзя, что рекомендуется, что не рекомендуется закрывать (надеюсь вы поняли меня :rolleyes:).
Спасибо всем за помощь.

 

[Captain]

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[mrfmrka]

В общем как-то так:

User-agent: *
Disallow: /cgi-bin/
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Allow: /
Sitemap: http://www.example.com/sitemap.php

Верно?
Вот только кроме admin.php я ни одной такой папки не нашел у себя. Это нормально?

 

[West14]

В общем как-то так:

User-agent: *
Disallow: /cgi-bin/
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Allow: /
Sitemap: http://www.example.com/sitemap.php

Верно?
Вот только кроме admin.php я ни одной такой папки не нашел у себя. Это нормально?

Это ссылки на страницы, которые не нужно индексировать. Зачем, например, поисковой системе индексировать страницу входа, поиска, профили пользователей?

 

[anastasiya]

Спрошу здесь.
Гугл пишет, что есть ошибки сканирования вот такого: /posts/238091/likes
Что это за хрень? Нужно в robot.txt и лайки запрещать?

 

[HAIM]

По идее это не задача роботс.тхт. Нужно добавить ссылкам на /likes атрибут rel="noopener nofollow"

 

[anastasiya]

Придется читать.

 

[hirowatch]

robot.txt - этот файл является ярлыком которая висит на холодильнике в которой написано что запрещено брать, а что можно.

 

[.endme]

robot.txt - этот файл является ярлыком которая висит на холодильнике в которой написано что запрещено брать, а что можно.

То есть, кинув этот файл в корень форум не будет появляться в интернете?

 

[Smalesh]

То есть, кинув этот файл в корень форум не будет появляться в интернете?

Чтобы не появлялось в интернете нужно выключать сервер нафиг. А файл, это так, рекомендация для ботов и не более.

 

[.endme]

Чтобы не появлялось в интернете нужно выключать сервер нафиг. А файл, это так, рекомендация для ботов и не более.

Неправильно сказал, имел введу, кинув этот файл форум будет выводиться в интернете?

 

[Smalesh]

Неправильно сказал, имел введу, кинув этот файл форум будет выводиться в интернете?

это так, рекомендация для ботов и не более.

 

[.endme]

Как тогда сделать, чтобы выводилось в Гугл и Яндекс?

 

[Smalesh]

Как тогда сделать, чтобы выводилось в Гугл и Яндекс?

Обеспечить авторским контентом СДЛ и уже при помощи robot.txt (и не только) управлять индексацией.

 

[.endme]

Обеспечить авторским контентом СДЛ и уже при помощи robot.txt (и не только) управлять индексацией.

OFFTOP

ссылку скинешь, где посмотреть это все можно?

 

[Smalesh]

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[hirowatch]

OFFTOP

ссылку скинешь, где посмотреть это все можно?

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[unconfirmed]

.если у вас будет форум с хорошим функционалом и с нормальной политикой в отношении пользователей, то никакого СЕО не нужно.