Проблема с ответом сервера у поисковиков

[LipaTree]

Помогите пожалуйста,кто вкурсе данной проблемы или знает как её решить.

В чём суть: поставил форум,добавил нужные плагины и т.д. и т.п. Всё работает на ура без проблем.
На днях решил добавить на Яндекс новый URL. И мне выдаётся что ответ сервера приходит Яндексу 503!(обычный нормальный ответ 200).
Ладно думаю,вероятно приходит такой ответ из-за подключённого КлудФлэера и тот не пропускает запрос на сервер от яндекса.Убрал КлудФлэйр,подождал что бы имена NS поменялись на родные имена хостера.Итог-такая же чушь!

Перерыл все возможные варианты- вплоть до настроек файла .htaccess.Результата ноль.
Разговаривал с хостером-тот говорит что не может быть такого.Сайт работает и сервер работает и доступен,а значит всё в норме.

Решил проверить на других поисковиках добавить сайт в разделах Вебмастера-все в один голос выдают ответ от сервера 503!

Что делать-просто не знаю.

В логах последних юзерагентов так же видно что при обращении поисковиков выдаётся ответ 503.

 

[LipaTree]

Вот что сейчас выдаётся при проверке ответа от сервера(правда сейчас подключён КлудФлэйр).

HTTP/1.1 503 Service Unavailable
Server: cloudflare-nginx
Date: Sat, 25 May 2013 13:37:36 GMT
Content-Type: text/html; charset=UTF-8
Connection: close
X-Powered-By: PHP/5.3.15
Expires: Thu, 19 Nov 1981 08:52:00 GMT
Cache-control: private, max-age=0
Vary: Accept-Encoding
Set-Cookie: xf_session=8e13fead783739a1759058f1dc71955c; path=/; httponly
Last-Modified: Sat, 25 May 2013 13:37:36 GMT
Set-Cookie: __cfduid=dc8cb710610aff13ef921fed79fb49a641369489055; expires=Mon, 23-Dec-2019 23:50:00 GMT; path=/; domain=.rcator.biz
CF-RAY: 7429f069a7505b5

 

[Jumuro]

У вас форум в настройках не закрыт (выключен) случайно?

 

[Hope]

Подобная проблема обычно возникает при большом количестве запросов к серверу. Но такое чаще бывает на обычных хостингах... Хотя, если на сервере ещё кто-то располагается, то от них могут идти дополнительные запросы, нагружающие сервер. Так же подобное может возникать, если соединение с мускулом слишком медленное. Но подобная ошибка в любом случае временное явление.

Ещё можно попробовать в файл robots.txt добавить значение:

Crawl-delay: 10

Но это в любом случае происходит из-за неверных настроек сервера, поэтому тут лучше ещё раз пообщаться с хостером.

 

[Владимир Миронов]

Вы захотели быстрой реакции Яндекса? :) Сменили DNS, хорошо. Но надо ведь подождать переиндексацию.
Пока ждёте, я бы начал общение со службой поддержки Яндекса. Задайте им вопрос. Скажите, что сайт открывается нормально. Они проверят и скажут причину или не скажут :)
Тогда уже пробуйте поставить форум на другой хостинг. И снова ждите переиндексации.

Что то сомнения у меня ещё возникли. Если сайт ни разу не индексировался, то добавив урл в аддурилку, вы лишь сообщаете ему о своём сайте. Это не значит, что робот Яши сразу подорвётся и побежит индексировать ваш сайт :)
Ваш сайт добавится в общий список в очередь. Очереди бывают разные. :) Быстрые и медленные :)
Когда подойдёт очередь, на ваш сайт побежит не главный робот, а так сказать разведчик. :biggrin: Вот он может и сообщить главному, что ваш сайт типа тормоз и его не стоит индексировать. :laugh:

 

[Jumuro]

Но это в любом случае происходит из-за неверных настроек сервера, поэтому тут лучше ещё раз пообщаться с хостером.

Не факт, далеко не факт.))
ТС так и не ответил на мой первый вопрос

У вас форум в настройках не закрыт (выключен) случайно?

Я его задал не просто так.
Не все из вас знают, но если форум закрыть в настройках, то поисковикам и им подобным XF будет отдавать именно 503-ю :wink:

 

[Владимир Миронов]

УРЛ в студию :wink:

 

[Jumuro]

Это я выяснил сам случайно почти и еще на ранних версиях (RC). :)
Но не поленился и специально для вас нашел пост Джейка, в котором как раз и говорится об этом.

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

 

[Jumuro]

Как пример:
Возьмем сайт (один из моих):

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

Перейдем на него и увидим, что форум закрыт.
Теперь пойдем, на пример, на pr-cy.ru и пробуем проверить этот же сайт. (

У Вас недостаточно прав для просмотра ссылок. Вход или Регистрация

)
Листаем до блока заголовков ответа сервера и созерцаем ту самую "HTTP/1.1 503 Service Temporarily Unavailable"
ПС видят такой сайт ровно так же как и этот сервис.
:) как то оно так...

 

[Владимир Миронов]

Не знаю, у меня был случай, что форум въезжал в индекс Яши, хотя был закрыт.
Я форум забэкапил и решил разместить на домене, который не добавлялся ранее в ПС. Стоял пустым года 2-3 ))
Хотел использовать домен для тестирования форума. Форум естественно закрыл. Но через 2 недели был удивлён, что главная страница влезла в индекс, притом конкуренцию основному форуму начала составлять ))))
Предполагаю, надо было плагин sitemap отключить. Он видать сигналы жизни подавал в космос )))

 

[Jumuro]

Предполагаю, надо было плагин sitemap отключить. Он видать сигналы жизни подавал в космос )))

Именно)) По "вине" сайтмапа сайт, в Вашем случае, в индекс и попал)))

 

[Владимир Миронов]

Вот и выход нашёлся :laugh: ТС, ставь плагин для создания карты форума

 

[LipaTree]

Jumuro оказался прав!:thumbsup: Два дня поломанного мозга, а оказывается вот такая штука! Действительно, при отключеном форуме автоматически отдаётся ошибка 503. Вообще респект разработчикам что сделали так,что бы поисковики не сканировали одинаковую страницу пока форум на обслуживании.Хостера только жалко)))Они до сих пор не могут найти решение по моей притензии:laugh::whistling:

 

[Hope]

Ахахах. :laugh: Всё оказалось намного проще, чем предполагалось.