Яндекс.Вебмастер поможет найти дубли страниц с незначащими GET-параметрами

Теперь находить одинаковые страницы на сайте стало проще: в разделе «Диагностика» Яндекс.Вебмастера появилось специальное уведомление, которое расскажет про дубли из-за GET-параметров. 

Подписываться на оповещения не нужно, уведомление появится само. Если обнаружены дубли:

  1. Нужно перейти в Вебмастер, открыть раздел Страницы в поиске, в таблице выберать Исключенные страницы.
  2. Загрузить архив (подходящий формат можно выбрать внизу страницы) и просмотреть  скачанный файл: у страниц-дублей будет статус DUPLICATE.

Зачем отслеживать дубли

  • Скорость обхода. Когда на сайте много дублей, роботы тратят больше времени и ресурсов на их обход, вместо того, чтобы обходить ценный контент. А значит, ценные страницы сайта будут медленнее попадать в поиск.
  • Неуправляемость. Так как поисковой робот произвольно выбирает, какой из дублей показывать в поиске, то на поиск могут попасть не те страницы, которые нужны.
  • Влияние на поиск. Если незначащие параметры не добавлены в clean-param, робот может обходить эти страницы и считать их разными, не объединяя их в поиске. Тогда поисковый робот будет получать разные неагрегируемые сигналы по каждой из них. Если бы все сигналы получала одна страница, то она имела бы шансы показываться выше в поиске.
  • Нагрузка на сайт. Лишний обход роботом также дает нагрузку на сайт.  

Как оставить в поиске нужную страницу

1.    Добавить в файл robots.txt директиву Clean-param, чтобы робот не учитывал незначащие GET-параметры в URL. Робот Яндекса, используя эту директиву, не будет много раз обходить повторяющийся контент. Значит, эффективность обхода повысится, а нагрузка на сайт снизится.

2.    Если нет возможности добавить директиву Clean-param, нужно указать канонический адрес страницы, который будет участвовать в поиске. Это не уменьшит нагрузку на сайт: роботу Яндекса все равно придется обойти страницу, чтобы узнать о rel=canonical. Поэтому рекомендуется использовать Сlean-param как основной способ.

3.   Если по каким-то причинам предыдущие пункты не подходят, можно просто закрыть  дубли от индексации при помощи директивы Disallow. Но в таком случае поиск Яндекса не будет получать никаких сигналов с запрещенных страниц. Поэтому все-таки лучше  использовать Сlean-param как основной способ.

Подробнее о работе со страницами-дублями можно прочесть в Справке.

Напомним, весной в Яндекс.Вебмастере появились инструменты, помогающие быстро найти страницы с дублирующимися тегами title и description. 

Читайте так же:

  • Spotify купил технологию для поиска подкастовSpotify купил технологию для поиска подкастов Музыкальный сервис Spotify приобрел технологию Podz, позволяющую создавать ленту коротких клипов. На основе которых пользователь сможет выбрать интересный ему подкаст. Основная задача технологии Podz — облегчить доставку нужного контента пользователю. Подкасты обычно длятся более 30 […]
  • Как скачать контент с сайтаКак скачать контент с сайта Бесплатный Инструмент От Wayback Machine Downloader Об этом инструменте Этот инструмент предназначен для загрузки или копирования веб-сайтов. Которые в настоящее время находятся в сети. Бесплатная версия имеет ограничение в 10 МБ. Если вы хотите очистить исторические веб-сайты. […]
  • Наполнение сайта на битриксе инструкцияНаполнение сайта на битриксе инструкция Уважаемые пользователи Битрикс24, Быстрая загрузка содержимого веб-сайта-очень важный аспект любого веб-сайта. Так как посетители веб-сайта или целевой страницы не хотят тратить время. Глядя на белый экран загрузки и ожидая получить информацию. За которой они пришли. Даже если ваш сайт […]
  • PPC CONF: интернет-маркетинг для малого бизнесаPPC CONF: интернет-маркетинг для малого бизнеса Описание 23 июня в рамках спецпроекта от ppc.world «Миссия выполнима: продвигаем бизнес при бюджете до 50 000 рублей» пройдет онлайн-конференция для SMB - «PPC CONF: интернет-маркетинг для малого бизнеса».Вам точно будет полезно участие. Если постоянно приходится ломать голову над […]