Вы используете устаревший браузер. Этот и другие сайты могут отображаться в нём некорректно. Вам необходимо обновить браузер или попробовать использовать другой.
немного страшилок.. дергануло меня выгрузить, все страницы которые болтаются в поиске яндекса, по результатам изучения родился вот такой вот франкештейн. Гарантировать, что верно, не буду, но "это" тоже имеет право на существование.
Закрывает страницы пагинации в разделах от поиска.... хотя сейчас скорее всего рекомендует не индексировать эти страницы. Яндексу не нравились дубли заголовков.
Смотрю достаточно обширная тема. Подскажите на счёт закрытия от индексации страниц пагинации в Гугле и Яндексе. Стоит ли это делать? Так как в теории, ничего плохо-го в этом нет, ведь тема - это отдельная страница, а в разделе форума основная по сути первая страница, что логично, для того, что бы закрыть от индекса в Гугле и Яндекс, тем более что Яндекс ругается.
А что на счёт закрытия от индексации ссылок на посты такого плана
Disallow: /threads/*/post-*
Кто что думает для гугла и Яндекса?
И вообще чем это может грозить?
И страницы внутри темы ?
Стоит ли закрывать страницы внутри темы? (/threads/*/page-5)
karinochka, Если речь о robots.txt - то мы подсказываем поисковому роботу, что индексировать, а на что не тратить его ресурсы.
А если про indexing API, то мы отправляем поисковику сигнал, что у нас появилась новая страница, которую нужно проиндексировать, а если удаляем то и поисковой системе говорим, что страница удалена. Так наиболее эффективно индексируются страницы и обновляется инфа у поисковика.
Brillias, Если мы будем цеплять к формулировкам построения предложений и донесения сути через двойной смысл, у нас разговор не получится. Все же прекрасно поняли о чем речь. Когда вопрос был задан: "чем это может грозить?".
Все же хотелось бы услышать ответ на предыдущие два вопроса про:
bianchi, а есть ли смысл закрывать ссылки на посты от индексации в тредах? Всё равно же там редирект висит.
И кажется Indexing API завезли в 2.3, так что смысла делать что-либо в этом плане для 2.х нет, только бэкпортить разве что.
bianchi, а есть ли смысл закрывать ссылки на посты от индексации в тредах? Всё равно же там редирект висит.
И кажется Indexing API завезли в 2.3, так что смысла делать что-либо в этом плане для 2.х нет, только бэкпортить разве что.
Да яндекс ругается и смотрю в гугл залетает с переадресацией... Не знаю имеет ли смысл в темах закрыть, вот и спрашиваю, как лучше?
Для XF 2.3 по-моему только Bing сделали. (но не уверен, не изучал прям так детально что там в 2,3)
karinochka, Если речь о robots.txt - то мы подсказываем поисковому роботу, что индексировать, а на что не тратить его ресурсы.
А если про indexing API, то мы отправляем поисковику сигнал, что у нас появилась новая страница, которую нужно проиндексировать, а если удаляем то и поисковой системе говорим, что страница удалена. Так наиболее эффективно индексируются страницы и обновляется инфа у поисковика.
Brillias, Если мы будем цеплять к формулировкам построения предложений и донесения сути через двойной смысл, у нас разговор не получится. Все же прекрасно поняли о чем речь. Когда вопрос был задан: "чем это может грозить?".
Все же хотелось бы услышать ответ на предыдущие два вопроса про:
Меня как-то задрало уведомление в вебмастере, что в указанных страницах нет мета-описание. В итоге, можно сказать психанул и пошёл в разнос и на удивление это помогло и даже индексация стала более точной.
Мой вариант блочит ботам все лишнее, делая акцент на страницы тем и ресурсов, ничего лишнего, да и на выдачу они всегда приоритет должны быть всегда. Учитывать им списки страниц, обновлений, рецензий и прочее лишний мусор, на выдаче никак нормально это не пропустят. Многие скажут, что не стоит на вебмастере обращать внимание на ошибку, что где-то нет мета-описания, в целом это мало на что влияет, однако по личному опыту убедился, что индексация без лишнего мусора идет быстрей и точно. Правда это лишь мой вариант эксперимента, ещё не раз думаю изменю, вырабатывая более эффективные варианты. Заморачиваться или нет, дело каждого. На оф.форум я бы не опирался в этом вопросе.
Возникает вопрос, а есть ли смысл прописывать этих ботов, как у них на оф.форуме? Как считаете? И рекомендуется ли нам прописывать иначе на текущий момент?
Все верно, этот момент тоже не понял у них. Если проверить, то карта сайта всё равно будет выводится так же, как и при php, разницы и нет, что указать получается.
Меня как-то задрало уведомление в вебмастере, что в указанных страницах нет мета-описание. В итоге, можно сказать психанул и пошёл в разнос и на удивление это помогло и даже индексация стала более точной.
Мой вариант блочит ботам все лишнее, делая акцент на страницы тем и ресурсов, ничего лишнего, да и на выдачу они всегда приоритет должны быть всегда. Учитывать им списки страниц, обновлений, рецензий и прочее лишний мусор, на выдаче никак нормально это не пропустят. Многие скажут, что не стоит на вебмастере обращать внимание на ошибку, что где-то нет мета-описания, в целом это мало на что влияет, однако по личному опыту убедился, что индексация без лишнего мусора идет быстрей и точно. Правда это лишь мой вариант эксперимента, ещё не раз думаю изменю, вырабатывая более эффективные варианты. Заморачиваться или нет, дело каждого. На оф.форум я бы не опирался в этом вопросе.
Возникает вопрос, а есть ли смысл прописывать этих ботов, как у них на оф.форуме? Как считаете? И рекомендуется ли нам прописывать иначе на текущий момент?
Для версии 2.3
1. Если у вас включена функция Enable embed code sharing, то, наверное, стоит запретить индексирование /api/oembed/, а то яндекс активно лазит, попали ли эти ссылки в индекс, будет понятно через пару дней.
2. Если включили поддержку IndexNow, то правилом хорошего тона будет разрешить индексацию /posts/, т.к. bing не принимает ссылки, ругаясь на запрет в robots.txt
3. /misc/style-variation - активно сканируется, часть из них уже 400 ошибкой, по версии сканера,
В коде главной <a href="/misc/style-variation" rel="nofollow", в коде самой страницы
<meta name="robots" content="noindex" />
Так, что только если робот задалбывать будет.
