Файл robots.txt

Да, только учтите, что google по большей части игнорирует robots.txt
 
Да, только учтите, что google по большей части игнорирует robots.txt
Яндекс ругался я добавил полный адрес до карты сайта и ошибка исчезла. А там не нужно ни где свой адрес сайта прописывать больше?

454545477787878787.png
 
Последнее редактирование:
Яндекс ругался я добавил полный адрес до карты сайта и ошибка исчезла. А там не нужно ни где свой адрес сайта прописывать больше?
Да, я там домен вырезал. Больше нигде не нужно
 
Добрый день, я думаю параметр Disallow: /misc/style-variation?* тоже нужно добавить для xf 2.3.x

1742608880544.png

и /direct-messages/

1742608985879.png
 
Последнее редактирование:
Особо не помогает. Я скрыл переключатель цвета для гостей и переназначил 400 ошибку на 410
 
Стоит плагин, который редиректит ссылки. Ссылка имеет вот такой вид https_://mysite.com/redirect/?to=aHR0cDovL3QubWUvUm95YWxPdHppdg%3D%3D&content_type=post&content_id=5345
Соответственно под каждую ссылку меняется набор символов.
Мне надо в robots.txt закрыть от индексирования ее. И вот как сделать?
  • disallow: /redirect/
  • disallow: /redirect/*
  • disallow: /redirect/?to
Какой-то из этих вариантов правильный? Или дайте, пожалуйста, правильный
 
Всех приветствую!

В вебмастере яндекс начал ругаться на отсутствие дескрипшн у разделов forums и categories сайта. Я закрыл их через роботс и ошибка пропала. Но потом изучил примеры роботс из этой ветки и понял, что никто не закрывает forums и categories от индексации. Вернул их обратно и вебмастер снова стал ругаться на них.

Знатоки сео, помогите, пожалуйста, понять - важны ли эти разделы для индексации, ведь по сути в них только ссылки на темы размещены, основная информация все равно в threads. Как считаете стоит ли закрывать эти разделы, чтобы убрать ошибки?
 
ferz22 не нужно их закрывать. пусть ругается. плевать на яндекс. дальше будет ругаться на дубли заголовков итд
это не критично.
 
Всех приветствую!

В вебмастере яндекс начал ругаться на отсутствие дескрипшн у разделов forums и categories сайта. Я закрыл их через роботс и ошибка пропала. Но потом изучил примеры роботс из этой ветки и понял, что никто не закрывает forums и categories от индексации. Вернул их обратно и вебмастер снова стал ругаться на них.

Знатоки сео, помогите, пожалуйста, понять - важны ли эти разделы для индексации, ведь по сути в них только ссылки на темы размещены, основная информация все равно в threads. Как считаете стоит ли закрывать эти разделы, чтобы убрать ошибки?
В помощь решение - Файл robots.txt
1745760196468.png
Я и забыл об этих проблемах. Если у вас 2.3, то пробуйте подогнать к варианту тут - Файл robots.txt при необходимости. Читаем тему и разбираем вопрос. Ничего на самом деле сложного тут нет. И внимание нужно уделить тока яндексу, на других можно почти всё открыть.
 
Sadorimatsu яндексу в 2025 никакого внимания уделять уже не нужно если глобально посмотреть) главное крутить ПФ и будет траф)
 
Можно по подробней? Не пойму что за ПФ и почему уверенность, что на Яндекс можно не обращать внимание?
Да лень расписывать. Всё на поверхности есть. Как яндекс продали так и началась фуфло-выдача. Потом появился gpt которым засрали всю выдачу, потом яндекс (возможно) начал бороться с генеркой и выплюнул не только генерку но и другие трастовые сайты. Хотя вряд ли это случайность. Короче в топах щас по любому запросу всякий шлак типа тинькоф журнал, форбс и подобное. Причем они поняли что можно пылесосить любой трафик и пишут уже статьи на тему рассады, огородов и прочей херни 😁
А вы видимо думаете что сайты щас двигаются так же по старинке)) статейку написал, ссылочек закупил и ждёшь топы...увы и ах такого давно уже нет.

Вот ты стараешься, вылизываешь сайт что бы понравится яндексу, что бы не ругался на дубли итд, а он завтра тебя рандомно порезает. И хоть ты оюпишись платонам ты будешь получать стандарную отписку про то что никаких фильтров нет и продолжай работать над сайтом.
Видимо ты просто не в теме, но всем трафик порезали жестко и давно. Но если у тебя его и не было, то можешь и не париться :D

ps пф - поведенческие факторы.

А щас ещё и РКН требует сайты где есть регистрация и какие либо формы региться как обработчик персональных данных. Если у тебя на сайте яндекс метрика стоит - это тоже персональные данные по мнению этих даунов 🤡 А гугл аналитикс это трансграничная передача данных.

Короче дохнет рунет в том или ином смысле.
 
Последнее редактирование:
Современный облачный хостинг провайдер | Aéza
Назад
Сверху Снизу