Что делает робот Гугла, если не может соединиться с сервером?

На прошедшей недавно в Штатах конференции SMX East 2014, посвященной, в том числе, поисковому продвижению, был поднят вопрос о том, как роботы Гугла оценивают продолжительнось соединения с сервером. Как происходит сканирование сайта, если возникла проблема с соединением, и может ли это навредить оптимизации сайта?

Отвечал на эти вопросы Гэри Ильес, сотрудник Google, так что здесь речь идет не о чьих-то догадках, а о вполне реальной практике.

Ильес сказал, что поисковые роботы, кроме того, что во время сканирования учитывают сведения robots.txt, запрещенные «Disavow Links» ссылки, теги nofollow, еще и оценивают состояние HTTP и время соединения с сервером. Если последний показатель выходит за разумные пределы или коды HTTP говорят о внутренней ошибке, робот либо уменьшает нагрузку, но продолжает сканирование, либо уходит с сайта. Как объяснил Ильес, это делается ради пользователей: компания опасается, что из-за действия роботов нагрузка может увеличиться и на сервере возникнут проблемы, мешающие работе сайта.

Что же будет с контентом и ссылками, которые робот не смог проиндексировать и просмотреть, и с поисковым продвижением? Ильес заверил, что робот еще раз зайдет на сайт и завершит начатое, так что, даже несмотря на временные проблемы с соединением, у содержимого сайта есть шанс оказаться в выдаче.

Leave a comment

Ваш e-mail не будет опубликован. Обязательные поля помечены *