Google рассказал, как 500 ошибка влияет на индексацию страниц сайта

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер рассказал, как ошибка 500 может повлиять на индексацию страниц сайта. 

В ответ на вопрос одного из вебмастеров, Мюллер перечислил  ситуации, при которых код 500 никак не повлияет на сканирование, а в каких случаях может привести к выпадению страниц из индекса Google. 

Прослушать ответ Мюллера можно на видео, начиная с 13:48:

Вебмастер рассказал, что  CMS на его сайте была настроена таким образом, чтобы блокировать  «плохих ботов», позволяя просматривать сайт только реальным пользователям и «законным ботам». Сначала все работало нормально, но после обновления, все настройки слетели. А еще через некоторое время специалисты заметили, что в Search Console появились уведомления об ошибке 500 в ответ на обход Googlebot. Вебмастер спросил у Мюллера, насколько это критично и не грозит ли страницам последующим выпадением из индекса.

На это Джон Мюллер ответил, что никаких никаких строгих пороговых значений по этому вопросу у Google нет. Проверка страниц, отдающих 500 ошибку, повторяется неоднократно. В том случае, если это продолжается довольно долго, индексация замедляется и проводится реже. Если и далее демонстрируется код 500, то такие URL-адреса удаляются из индекса.

«Так что если время от времени на отдельных страницах появляется 500 ошибка, это не имеет большого значения. Мы повторим проверку таких страниц, они останутся проиндексированными, и после следующей проверки все будет в порядке».

Мюллер также пояснил, что одна из причин, почему Google замедляет сканирование, связана с тем, что Googlebot сам вызывает перегрузку сервера. При этом у поисковика нет жестких пороговых значений, при которых Google решает, что сделано много запросов, получено много ошибок, а значит, пора удалять такую страницу из индекса. 

Ранее стало известно, что Google добавил новую функцию, которая позволяет вебмастерам сообщать поиску о проблемах с индексацией на сайте. 

Читайте так же:

  • Instagram запустил личные сообщения в веб-версии сервисаInstagram запустил личные сообщения в веб-версии сервиса Instagram сообщил о глобальном запуске функции обмена личными сообщениями в веб-версии сервиса. Теперь она будет доступна пользователям по всему миру. *Sliding into your DMs*Now you can get and send Instagram Direct messages on desktop. No matter where you are in the world 👍 […]
  • Facebook приглашает на онлайн-конференцию F8 RefreshFacebook приглашает на онлайн-конференцию F8 Refresh Facebook открыл регистрацию на F8 Refresh – свою первую виртуальную конференцию для разработчиков. Раньше F8 всегда проходила в офлайн-режиме. В прошлом году конференция была отменена из-за эпидемии COVID-19, а в этом году компания опробует новый формат мероприятия – онлайн. Программа […]
  • Nokia 6310 вернули спустя 20 лет: представлена обновлённая модельNokia 6310 вернули спустя 20 лет: представлена обновлённая модель Компания HMD Global давно поставила на потом перезапуск классических кнопочных телефонов Nokia. Сегдоня была представлена новая версия Nokia 6310. Новый телефон Nokia 6310 остался моноблоком, хотя он мало похож на телефон, который был выпущен еще в 2001 году. При этом он принёс с собой […]
  • Дизайнеры IND architects создали офис в марсианском стилеДизайнеры IND architects создали офис в марсианском стиле На разработку проекта архитекторов вдохновил Илон Маск. Который в момент создания концепции испытывал новый корабль для полета на красную планету В Москве откроется новое офисное пространство в марсинаском стиле. Проект разработали архитекторы студии IND architects для команды […]