Все о сайтах, SEO, заработке в интернете
Меню

Дубли страниц на сайте

Дубли страниц на сайте

Веб-мастера, блогеры, администраторы, занимающиеся продвижением веб-проектов, часто могут слышать или читать, что дубли страниц на сайте вредны для SEO и их следует своевременно находить и удалять.

Для начала разберемся в терминологии – что такое дубли страниц?

  • Веб-страницы, имеющие одинаковый контент, но расположенные про разным адресам, считаются дублями.
  • При этом Помощь Яндекса для веб-мастеров уточняет, что имеются ввиду страницы с одинаковым контентом, входящие в один веб-сайт.
  • Одинаковые страницы, к примеру, на сайтах, относящиеся к разным региональным поддоменам, не считаются дублями.

Похоже, поисковые системы сделали корректировку своих требований относительно дублирования. А то ведь ранее и поддоменные повторы контента могли стать дублями.

Чем вредны дубли страниц для сайта

Поисковые системы стараются всячески экономить программно-аппаратный ресурс своих серверов – ведь индексировать приходится триллионы веб-страниц ежедневно. При таких объемах данных индексация повторного контента превращается для Яндекса в серьезный пункт нерациональных, излишних расходов.

  • Поэтому когда роботы Яндекса находят на сайтах повторения – ресурс понижается в качественных оценках.
  • Далее робот-индексатор автоматически выбирает одну из одинаковых страниц и оставляет ее в поиске, а все остальные выбрасывает (ради экономии ресурсов).
  • Какая именно страница из нескольких повторяющихся останется в поиске? Если веб-мастер заранее не указал в HTML-документе каноническую версию страницы (основную, рабочую), то робот выбирает любую рандомным образом.
  • И это может оказаться как раз случайно возникший клон, а не посадочная, продающая страница, куда нужно привлекать посетителей.

В результате потенциальные клиенты попадают «не в ту дверь», и бизнес недополучает продажи.

Как видите, наличие дублей мешает не только SEO-продвижению, но и коммерческой деятельности проекта.

Оба явления приводят к снижению прибылей бизнеса.

  • Дубли страниц на сайте снижают доходы владельцев интернет-проекта.

Этого факта вполне достаточно, чтоб серьезно заняться контролем дублирований и их устранением.

Причины появления дублей на сайтах

Одной из частых причин появления повторяющегося контента на разных страницах ресурса становятся баги, несовершенства систем управления контентом и плагинов автоматизации.

Вторая частая причина – ошибки человеческого фактора. Администратор, контент-менеджер, по-забывчивости опубликовали один контент дважды и поленился проверить наличие дублей перед публикацией.

Так или иначе, полностью устранить возникновение повторений контента на разных страницах на уроне профилактики пока что невозможно. Разработчики еще не создали такую функцию.

Опять же, не известно, почему разработчики не внедряют такаю полезную опцию, как автоматическая проверка публикуемого контента на наличие дублей непосредственно в момент публикации. Будем ждать, как говорится.

В частности, к техническим причинам появления дублей можно отнести следующие события:

  • Адреса одинаковых веб-страниц оказались одновременно в формате HTTP и HTTPS. Для поисковых роботов это разные страницы.
  • URL-адреса, начинающиеся с www и без.
  • Адрес страницы указан в строчном или заглавном формате.
  • Разного рода отслеживающие метки в URL, используемые для исследования и анализа трафика.

Дублями могут быть признаны технические клоны контента типа страниц, предназначенных для чтения или печати.

Кстати сказать, самая популярная система управления контентом в мире и особенно в рунете CMS WordPress известна своей «любовью» к незаметному созданию дублей. Причем часто в массовом порядке.

Как обнаружить дубли на сайте

Некоторые конструкторы сайтов имеют встроенную систему тестирования ресурса на ошибки (аудит сайта).

Тогда достаточно время от времени запускать тест и смотреть по результатам, где отмечены дублирования полностью веб-страниц либо отдельных частей контента.

Опять же, в профессиональных конструкторах сайтов имеется дополнительная функция автоматического исправления ошибок. В том числе автоматическое удаление дублей.

Тогда алгоритм следующий:

  • Запустить тест.
  • После окончания теста запустить автоматическое исправление ошибок.
  • Поверить, все ли было выполнено корректно.

Функция поиска дублей есть в сервисе Инструмент Яндекс для Вебмастеров – Webmaster.

Дубли страниц на сайте

Перейдите в раздел «Страницы в поиске». Ниже вы увидите список страниц с указанием их качественных характеристик с точки зрения алгоритмов Яндекса.

Дубли страниц на сайте

Промотайте вниз. Там вы увидите текст «Скачать таблицу» и кнопки с предложенными форматами документа.

В таблице в строке по каждой странице показаны ее статусы. Если есть указание DUPLICATE – это означат, что страница имеет повторы и нуждается в корректировке.

Помимо описанных способов, обнаруживать дубли на сайтах можно при помощи разного рода SEO-программ. Например, условно-бесплатное приложение Screaming Frog SEO Spider Tool & Crawler Software. Программа способна производит множество важных тестов на сайтах и выявляет разного рода баги довольно надежно.

Существуют и другие программы и онлайн-сервисы для поиска и удаления дублей.

Дубли страниц на сайте

В общем, такого рода инструментов много, часть бесплатные, часть профессиональные коммерческие.

Нужно ли удалять дубли

Если дубль является случайным клоном, то его следует удалить.

Однако встречаются страницы с повторным контентом, которые имеют некие служебные функции и их удаление нежелательно, поскольку это может нарушить нормальную работу всего ресурса.

Тогда страницы не удаляются полностью, а производиться одно из следующих действий:

  • Для клона страницы, который не является основным, создается редирект 301 на другую страницу, которая определена как важная.
  • В HTML-документе указать главную, целевую (каноническую) страницу при помощи тега rel=»canonical».
  • В файле управления поисковыми роботами robots.txt нежелательные к индексации страницы отметить директивами Disallow.

Практическая реализация перечисленных операций различаются в зависимости от типа движка, конструктора сайтов, версии разметки HTML.

После очередной индексации ресурса (обхода сайта роботом-индексатором), в поисковой выдаче начнет появляться только каноническая веб-страница.

Однако несовершенство современного программного обеспечения может иногда приводить к тому, что поисковый робот и на этот раз, при наличии явных указаний, назначит канонической неглавную страницу.

Чтобы проверить корректность назначения канонической веб-страницы, в Яндекс Вебмастере нужно проверить этот факт в разделе Индексация – Страницы в поиске.

Дубли страниц на сайте

Здесь можно увидеть, какие именно страницы, с какими URL, отмечены каноническими, а какие исключены из выдачи как дублирующие.

Если неканоническая страница все-таки по ошибке попала в выдачу, ее следует удалить при помощи команды Disallow в файле robots.txt.

Если неканоническая страница обозначена UTM метками или GET-параметрами, это может помещать поисковому роботу правильно определиться с выбором главного дубля.

Чтобы исключить ошибки такого рода, в файле robots.txt укажите команду Clean-param.

Следует понимать, что задача найти и откорректировать дубли страниц на сайте требует технических знаний и доверять ее следует опытным специалистам.

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *