Влияние на продвижение

Сайты отличаются между собой в первую очередь своим контентом. Из-за этого очень важно, чтобы текстовый контент был полностью уникальным. Также статьи должны иметь полезными и интересными для читателя.

Что происходит, если появляются дублированные страницы

Контент перестает быть уникальным. Любой текстовый фрагмент быстро находится поисковым ботом. В итоге страницы, имеющие плагиат, удаляются из результатов поисковой выдачи;
Покупаемая ссылка в большинстве случаев ведет на страницу, которую не проиндексировал поисковой робот. Из-за этого позиция веб-ресурса снижается;
Снижается эффективность процесса ранжирования. Вместо одной страницы, имеющей высокий уровень авторитетности, вы получите одну или две, но с низкой производительностью. В итоге вы потеряете свой естественный трафик.

Чтобы избежать проблем с дублированными страницами, необходимо запретить их индексацию или удалить неуникальное содержимое.

Зачем думать о плагиате и прочих повторениях текстов?

Оптимизаторы уделяют особое внимание дублированному контенту т.к. он является одним из параметров, которые влияют на ранжирование сайтов. Содержимое страниц может быть защищено авторскими правами или патентом (если публикуются подробности). Но есть и другие (почти безобидные) варианты появления копий. Поисковые системы учатся распознавать зловредное копирование от безобидного. Вот несколько случаев, за которые сайт не будет понижен в рейтинге Гугл:

отличающиеся версии проектов для десктопной и мобильной версии;
продукция интернет-магазинов с идентичными параметрами за исключением 1-2, страницы находятся по разным URL;
альтернативы контента, выводимые на печать.

Когда контент считается зловредным?

Среди всех страниц-копий, существующих в рамках одного проекта, находящихся на общем домене, есть те, что оптимизаторы считают главными. На языке кода - это называется каноническими страницами. Есть несколько способов оповещения поисковых краулеров о предпочтительности страниц. Хотя даже в таких случаях возможны варианты, что в выдаче будет показываться другая запись.

Иногда в системы управления контентом закрадываются ошибки. Но нельзя отрицать, что существуют и намеренное использование уязвимостей поисковиков или плохо защищенных сайтов. Наиболее часто встречаются такие проблемы:

Мультиязычные сайты, в коде страницы указывается неверный URL, который не относится к конкретному домену. Эта ошибками исправляется усилиями своих разработчиков.
Атаки на сайт. Ошибку с указанием на переадресацию на другой URL можно допустить намеренно, если добавить в код чужой страницы соответствующее указание для бота Гугл или Яндекс. Здесь может оказаться как спам, так и произведена попытка кражи персональных данных пользователя.
Плагиат. Подобная ошибка встречается все реже: поисковый краулер выбирает для показа не уникальный, а украденный контент (опубликованный на другом сайте без согласия правообладателя).

Дополнительно, существуют разные способы, как сделать контент уникальным, не нарушив правил поисковой системы. Сегодня алгоритмы поисковиков более склонны к проверке полезности, достоверности, авторитетности. Разные виды цитирования в принципе могут существовать, не нанося урон проекту-публикатору.

Как избежать проблем с повторяющимся контентом?

Сегодня Гугл стремиться публиковать уникальный контент, но алгоритмы системы не всегда достаточно точно определяют именно авторский материал или первоисточник. Есть случаи, когда боты все-таки выявляют самостоятельно копипасты и наказывают тех, кто их делает. Но оптимизаторы могут предпринять определенные шаги в сторону защиты сайта от посягательств плагиаторов. Среди рекомендуемых мероприятий со стороны самого Google следующее:

Правильно настроить переадресацию 301 (как сказано выше, здесь могут происходит ошибки систем управления контентом).
Перелинковка должна быть сделана грамотно без одновременного использования ссылок такого типа: http://www.name.com/page/, http://www.name.com/page и http://www.name.com/page/index.htm.
Контент для разных стран размещать на страницах подобных http://www.name.ru, но не на http://www.name.com/ru или http://ru.name.com.
Продвигая контент с помощью синдикации, надо проверять, что на сайте публикаторе есть ссылки на первоисточник или просите не индексировать ваш материал.
Создавать разнообразный контент для публикации на собственном ресурсе.

Стоит учитывать важное замечание от разработчиков Гугл: дубли страниц лучше отмечать с помощью rel="canonical", тогда краулерам сразу будет понятно, что они столкнуться с повторяющимися данными. Если же закрывать доступ контенту с помощью файла robots.txt, боты воспримут каждую страницу, как уникальную. Это отнимет какую-то долю краулингового бюджета.

Что делать, если сайт обвиняют в попытке обмана?

Здесь есть три граничных ситуации:

Вы не предпринимали специальных мер по защите контента согласно рекомендаций Гугл.
Сайт обвиняют в использовании хакерских приемов, попытках ввести в заблуждение пользователей и т.д.
С сайтом все в порядке, но поисковый краулер считает, что именно ваш проект нарушает права автора.

С первым случаем все понятно, надо пересмотреть стратегию продвижения и внести соответствующие поправки. Надо сказать, что для сайта выгоднее, если в поисковой выдаче будут показываться заточенные под коммерческие цели страницы, чем выбранные ботами по умолчанию. Во втором случае, надо исправить ошибки и отправить сигнал администрации проекта. В последнем случае, необходимо попытаться завести диалог с “ворами” контента. Если не поможет, надо обратиться в администрацию с просьбой удалить записи, нарушающие авторские права.

Дублированный контент