0-800-759-750
Мы на связи с 7:00 до 24:00
info@elit-web.com

Как найти дубли страниц на сайте

Поделитесь
Содержание

    Одной из частых проблем, мешающих SEO-продвижению, являются дубли страниц. Они содержат одинаковое с оригиналом содержание, но при этом у них отличаются URL. Почему они возникают, как их искать – читайте в этой статье.

    Что такое дублированный контент и его виды

    Под данным термином подразумевается идентичное наполнение страниц с разными урлами. Они могут быть расположены как на одном, так и на нескольких доменных именах. Появляются они не только из-за копирования содержимого. Дубли страниц также возникают в результате невозможности исключения тестовой версии сайта из индексации или невыполненной переадресации.

    В зависимости от объема скопированного контента их делят на:

    • полные;
    • частичные.

    Первые содержат 100 % идентичного материала. Обычно к полным относятся зеркала ресурсов, адрес которых может содержать или не содержать www, дубли main page и реферальных программ. Еще сюда относятся веб-страницы, связанные с некорректной иерархией, содержащие в URL множественные символы // или ///. Возникают полные дубли и по причине неправильно выполненного переезда на протокол SSL. Их обязательно нужно удалить и как можно быстрее.

    Частичные дублируют контент не полностью, а только какую-то его часть. Это web-страницы пагинации, сортировки. Чаще всего их возникновение обусловлено нюансами CMS. Узнать такие можно по параметру get. К частичным дублям могут относиться и другие типы страниц: отзывов, свойств товара, фильтрации или копии, созданные при помощи AJAX.

    Что такое дублированный контент и его виды

    Проблемы внутреннего и внешнего дублирования

    Особенность страниц с идентичным содержанием в том, что они могут возникать не только на каком-то одном сайте, но и сразу на нескольких. Называются они, соответственно, внутренними и внешними. Остановимся на нюансах детальнее.

    Внутреннее дублирование

    Так называют страницы, содержащие идентичное наполнение, расположенные на одном ресурсе, но по разным адресам.

    Внутреннее дублирование приводит к каннибализации фраз. При такой ситуации минимум пара подстраниц одного доменного имени может отображаться для одного ключа.

    Если внутреннее дублирование не устранить, то позиции начнут «прыгать» в выдаче. Почему? Все просто – поисковая система не сможет определить, какую из страниц показать, поэтому демонстрироваться они будут по очереди. Из-за этого алгоритмы Google расценят их как некачественные, и приоритет в ранжировании будет отдаваться другим сайтам.

    Рекомендуем также почитать о том, как выполняется продвижение сайта, и принципах ранжирования.

    Узнать есть ли дубли страниц на Вашем сайте?

    Адрес сайта

    Внешнее дублирование

    Так называют идентичный контент, который расположен на разных веб-ресурсах. Случается такое в основном по двум причинам:

    • воровство;
    • размещение контента-копии со своего сайта на других площадках.

    Дубли страниц в поддоменах тоже относятся к этой категории. Если же одинаковый текст размещен на нескольких доменных именах, то поисковик Google на высокой позиции будет отображать ту страницу, оптимизация которой выполнена лучше, создана ранее или линк на нее размещен на большом количестве площадок-доноров.

    Внешнее дублирование

    Причины внутреннего дублирования

    Рассмотрим причины, которые наиболее часто приводят к проблеме. Это важно, поскольку такое дублирование контента на сайте случается буквально у каждого владельца ресурса. Чтобы понимать, почему так произошло, читайте дальше.

    Дубль товара по разным URL

    Варианты продукта, которые размещены на нескольких подстраницах, – явление нередкое. Если бы постоянно использовались уникальные описания, то проблема не возникла. Но далеко не всегда соблюдается это правило, особенно если в продаже есть много позиций товара с небольшими отличиями (модель туфель в разных цветах, к примеру) и тратиться на оригинальные описания нет времени и лишних средств. Это, кстати, один из частых приемов маркетинга. Из-за такого подхода и возникает дублирование контента на сайте, влекущее за собой проблемы с продвижением.

    Оставлять ситуацию так нельзя, нужно устранить проблему. Это необходимо, чтобы интернет-ресурс не потерял позиции в рейтинге.

    Поиск дублированных страниц

    Найти проблему можно несколькими способами. Расскажем детальнее, как найти дубли страниц на сайте.

    С помощью специальных программ и сервисов

    Обнаружить дубли страниц можно при помощи:

    • Xenu;
    • NetPeak Spider;
    •  Screaming Frog SEO Spider.

    Эти и подобные им программы находят веб-страницы с идентичным содержимым, проверяя совпадение метатегов.

    Еще можно применить инструмент Гугл Search Console. Он поможет выявить на сайте дубли и даст рекомендации, как их устранить.

    С помощью специальных программ и сервисов

    Использование поисковых операторов

    К таким относятся «inurl» и «site». Операторы анализируют URL и при обнаружении адресов с одинаковым контентом выдают их списком.

    Как найти дубли страниц при помощи поисковых операторов? Нужно просто в поле поиска ввести оператора перед адресом сайта. Например:

    site:https:// название ресурса.com - site:https:// название ресурса.com/&

    В этой формуле первое определение показывает страницы вашего веб-ресурса, которые содержатся в общем индексе системы Google. Второе – странички, которые задействованы в поиске.

    Как бороться с проблемой дублирования контента

    Бывает, что писать уникальные тексты для однотипных товаров не всегда есть возможность. Но и дублирование контента – не выход. Избежать проблемы поможет специальный тег, который ведет к базовой версии – rel=canonical. Такая ссылка указывает роботам поисковика предпочтительные страницы для подстраниц похожего типа. Прибегать к нему нужно, если тексты повторяются на нескольких урлах.

    Еще один способ, который поможет избежать такой проблемы, как дублированный контент – создавать на похожие товары уникальные карточки с опцией выбора нужного варианта. Но следует учесть, чтобы при таком подходе URL не менялся. Прочие подстраницы нужно перенаправить на главную.

    В ситуациях, если на каждый тип товара уже подобраны ключи и создан контент, необходимо создать индивидуальные адреса URL. Таким образом, получится добиться оптимизации товара под отличительные черты, что улучшит видимость в выдаче. Ключи с хвостами помогут привлечь большее количество клиентов – состоявшихся или потенциальных.

    Сайт доступен по многим адресам

    Причин такого явления довольно много. Среди наиболее распространенных:

    1. Индексирование тест-версии ресурса. Процесс создания или редактирования имеющегося сайта влечет за собой появление версии, которая при правильном раскладе должна оставаться доступной лишь разработчикам. Но если от индексации она не скрыта, то робот просканирует и ее, в результате появятся дубли страниц на сайте.
    2. Отображение home page сразу по нескольким урлам. Некоторые из движков могут создавать адреса в разных версиях с небольшими отличиями в написании: со слешем или без, с «index.php» или «index.html». Подобное указывает, что одинаковые тексты отображаются на нескольких страницах, возникает дублирование контента. Подобного результата можно избежать, если указать поисковику на оригинал сайта, перенаправив на него адреса-копии.
    3. Неправильное подключение SSL-стандарта. Дублирование контента на сайте может возникать и по причине отсутствия редиректа. Его обязательно следует настроить подключением SSL. Поисковик страницы http и https воспринимает как разные, то есть будет считать их за две версии ресурса. Чтобы не возникло дублей, следует выполнить несколько действий:
    • настроить редирект для подстраниц;
    • удалить внутренние ссылки, содержащие http без подключенного стандарта SSL. Сделать это можно, если проверить канонические ссылки, а также файлы с графическим изображением;
    • выполнить обновление sitemap.xml. Но перед этим следует создать файл по текущему адресу.

    Еще нужно позаботиться о добавлении версии ресурса с SSL в Search Controle поисковой системы Google, отправить sitemap.xml обновленного типа.

    Сайт доступен по многим адресам

    Неоптимизированные страницы сортировки и фильтрации

    Дубли страниц на сайте еще могут возникать и по причине неправильно выполненной оптимизации таких функций, как фильтрация и сортировка. Почему? Дело в том, что настройка данных функций меняет лишь определенную часть ресурса, ту, на которой размещены товары. При этом содержимое не меняется. А вот когда в процессе перезагрузки добавляются параметры фильтра и сортировки, то появляются копии.

    Решить эту проблему поможет тег, о котором мы уже упоминали – rel=canonical. Но даже так странички будут отображаться в выдаче. Чтобы удалить их, потребуется метатег – noindex.

    Можно еще позаботиться о том, чтобы не отображался процесс индексирования фильтрации и сортировки в robots.txt. Помочь в этом может директива, блокирующая доступ поисковику к ряду страниц. Подобный метод также эффективно экономит бюджет, выделенный на краулинг.

    Но прежде чем применять способ, следует проверить, как он скажется на трафике, не упадет ли посещаемость? Если снизится, то можно попробовать оптимизировать эту часть аудитории под ключи с хвостами.

    Внутренний поиск и копии

    Проблемы могут возникать и по причине плохой реализации опции поиска на ресурсе. Ее применение порой провоцирует появление новой веб-страницы, которая по сути будет копией. Решить такую проблему можно добавлением в robots.txt несколько директив, закрывающих доступ для роботов к страничкам внутреннего поиска.

    Неоптимизированные страницы пагинации

    Пагинация помогает разделять содержимое и размещать эти части на подстраницах. В качестве контента могут использоваться список категорий, товары и пр.

    Если пагинация выполнена неверно, она сопровождается рядом проблем:

    • копия первой страницы;
    • отсутствие различия в заголовках тегов;
    • идентичное наполнение.

    Работая над пагинацией, сразу нужно мониторить, чтобы не образовывались дубли страничек.

    Неправильная реализация языковых версий

    Отсутствие переводов на каждой странице тоже является причиной возникновения дублей. Избежать рисков можно, если выполнить перевод текстов на тот язык, который соответствует стране продвижения. Еще поможет указание на страницах атрибутов hreflang. Так, поисковики поймут, что на ресурсе реализовано несколько языковых версий.

    Как создается внешнее дублирование

    Такие ситуации не всегда возникают из-за воровства контента. Причины могут быть разными.

    Копирование описаний товаров с сайтов производителей

    Так называемый копипаст используется широко. Но не все в курсе, что подобные методы влекут за собой проблемы. Если есть множество товаров, и нет возможности для каждого создать уникальный контент, то необходимо подготовить тексты хотя бы для позиций, которые определены приоритетными.

    Оригинальность наполнения ценится поисковиками. Поэтому шансы подняться в рейтинге у ресурса с уникальным контентом тоже выше.

    Создание нескольких похожих или одинаковых сайтов

    Дубли на сайте появляются, если есть субдомен. Так называют версии ресурса, созданные под определенные регионы. Чтобы не допускать появления дублей, при разработке субдоменов следует уделить внимание написанию новых текстов.

    Выводы

    Дублирование контента на сайте – проблема распространенная. Порой к ее появлению приводят неожиданные факторы, поэтому важно мониторить ресурс, чтобы выявить их как можно раньше и быстро устранить. Также следует принять меры по предотвращению появления дублей. Для этого необходимо каждую страницу наполнить полезным и уникальным контентом.

    Мы, команда Elit-Web, при продвижении сайтов уделяем особое внимание этому аспекту. Чтобы снизить риски образования дублей, веб-ресурс клиента наполняется только уникальным оптимизированным контентом, который создают наши авторы. Ответственный подход к созданию текстов позволяет обеспечивать гарантированный результат и успешное поисковое продвижение сайтов.

    КОМПЛЕКСНЫЙ АУДИТ САЙТА
    Профессиональный комплексный аудит сайта - глобальный анализ вашего проекта ✔ Подробный отчет с перечнем ошибок и рекомендаций для улучшения ✔ Увеличение конверсий
    Получить консультацию
    Наш менеджер свяжется с Вами в ближайшее время

    У Вас остались вопросы?
    Наши эксперты готовы ответить на них.
    Оставьте ваши контактные данные.
    Будем рады обсудить ваш проект!
    Получить консультацию
    Наш менеджер свяжется с Вами в ближайшее время