Если вы пытаетесь увеличить поисковый трафик вашего сайта, вам необходимо найти и устранить проблемы дублированного контента на вашем сайте. Дублированный или скопированный контент появляется в Интернете более чем в одном месте. Если вы всегда будете следить за тем, чтобы находить и устранять такие проблемы с контентом на вашем сайте, вы определенно сможете улучшить рейтинг сайта, а также повысить удобство пользования сайтом. Итак, в этом посте мы поговорим о том, что это такое, как можно найти проблемный контент на вашем сайте (и за его пределами) и как легко устранить эти проблемы с контентом. Вам интересно узнать? Давайте перейдем к деталям.
Что такое дублированный контент?
Он содержит схожее (или абсолютно одинаковое) содержание на нескольких страницах. Он может быть обнаружен как внутри вашего сайта (из-за технических проблем на вашем сайте), так и за его пределами (из-за копирования вашего контента другими пользователями). Нет смысла держать такой проблемный контент на своем сайте, поскольку он не добавляет никакой ценности для аудитории вашего сайта или поисковых систем.
Наличие нескольких сайтов с почти одинаковым текстом может сбить с толку поисковую систему Google, и она выберет для ранжирования только один из многих дублирующих сайтов. Именно здесь вы можете использовать канонические URL-адреса для предотвращения проблем, вызванных появлением идентичного или “дублирующего” контента на нескольких URL-адресах (подробнее о теге canonical позже в этой же статье). Проще говоря, всегда следите за проблемами дублированного контента на вашем сайте, если вы хотите повысить рейтинг в поиске и обеспечить лучший опыт для читателей.
Как возникает идентичное содержание
Основных причин появления такого контента на вашем сайте может быть две.
- Технические причины
- Вручную скопированный контент
Давайте вкратце поговорим о двух вышеперечисленных причинах такого контента, чтобы вы могли лучше его понять.
Технические неполадки: Даже если вы не копируете контент с других сайтов и действительно пишете оригинальный контент на своем блоге или сайте, проблемы с контентом все равно могут возникнуть. Да, это правда. Это связано с техническими неполадками на вашем сайте. Если вам интересно узнать, что это такое и как они могут возникнуть, читайте дальше. Итак, давайте поговорим о некоторых технических проблемах, которые могут привести к проблемам с контентом на вашем сайте.
- HTTP и HTTPS (убедитесь, что все страницы вашего сайта загружаются на https версии, эта проблема возникает, когда вы не установили SSL сертификаты должным образом)
- www и non-www (убедитесь, что все содержимое вашего сайта загружается либо на www, либо на non-www)
- Параметры и фасетная навигация (фасетная навигация может быть полезна для пользователей, но она негативно влияет на SEO вашего сайта, тратит бюджет на ползание и т.д.)
- Идентификаторы сессий
- Пагинация (вы должны использовать теги rel=prev и rel=next для правильной работы с этими типами страниц, и обязательно ознакомьтесь с этим постом от Search Engine Journal, чтобы узнать больше о том, как управлять пагинацией на вашем сайте)
- Скраперы (скраперский сайт – это просто сайт, который копирует содержимое других сайтов с помощью веб-скрейпинга, избегайте таких сайтов любой ценой)
- Различные языковые версии (если ваш сайт является многоязычным, то есть если ваш сайт предлагает контент на нескольких языках, убедитесь, что вы правильно используете Hreflang)
Постарайтесь избежать вышеперечисленных технических казусов на вашем сайте, и вы будете в безопасности от всех подобных проблем с контентом.
Вручную скопированный контент: Другой основной причиной может быть то, что либо вы копируете чужой контент, либо другие сайты копируют ваш контент и публикуют его как свой собственный. Поэтому вам также необходимо следить за копированием контента вручную и не использовать чужой контент, так как он не добавляет ценности вашей аудитории. Аналогичным образом, когда вы обнаружите, что кто-то копирует ваш контент, обязательно отправьте письмо (посетив его сайт или связавшись с ним через социальные сети), чтобы удалить его. В противном случае вы можете просто подать жалобу DMCA, и это сработает как шарм (подробнее об этом позже в этом же посте). Знаете вы или нет, но не существует такого понятия, как “штраф за дублированный контент”. Согласно исследованию, проведенному Raven tools, вот некоторые интересные статистические данные о дублированном контенте блога.
- 29% страниц имели дублированный контент сайта
- 22% заголовков страниц были дублированными
- На 20% страниц было мало слов
- 17% метаописаний были дублированными
Таким образом, очевидно, что дублирование содержимого сайта не приводит к тому, что ваш сайт будет наказан в результатах поиска Google. Почему, спросите вы? Причина проста: Google достаточно умен, чтобы знать первоисточник контента. Google пытается определить оригинальный источник контента и отобразить его в результатах поиска вместо того, чтобы показывать дублированный или скопированный контент. Но это не значит, что вы должны копировать статьи с других сайтов. Вот несколько причин, почему вы никогда не должны использовать такой контент, особенно с других сайтов.
- Другие владельцы блогов могут легко найти тех, кто копирует их контент, используя такие инструменты, как Copyscape, или просто найдя некоторые из их материалов в поиске Google. Как только кто-то обнаружит, что вы копируете его контент, он попросит вас удалить его. Если вы не ответите, они могут легко удалить его с помощью DMCA. Так что вам не удастся легко отделаться, если вы копируете другие материалы.
- Копирование чужого контента не добавляет никакой ценности читателям вашего сайта. Если вы не добавляете никакой ценности для аудитории вашего сайта, вы никогда не добьетесь успеха.
- Брать чужой контент – это неэтично. Если вы всерьез намерены зарабатывать деньги на ведении блога, вам следует избегать подобных неэтичных практик, поскольку это может напрямую повлиять на ваш авторитет в сети.
- Прежде всего, как уже говорилось, Google достаточно умен, чтобы знать первоисточник контента, поэтому он, очевидно, дает более высокие рейтинги первоисточнику, а не тем сайтам, которые копируют чужой контент. Это так просто.
Как найти похожий контент на вашем сайте
До сих пор мы говорили о том, что такое дублированный контент блога, как он возникает и почему вы должны его избегать. Теперь давайте поговорим о самом главном: как найти дублированный контент на вашем сайте. Опять же, найти такой контент можно двумя способами.
- Один из них: поиск идентичного контента на собственном сайте (что происходит в основном из-за технических ошибок).
- Другое: поиск дублированного или скопированного контента за пределами вашего сайта.
Давайте поговорим о том, как можно найти такой контент и в таких случаях.
Поиск идентичного контента на вашем сайте
Поиск подобного контента на вашем сайте должен стать вашей основной задачей, так как в основном это происходит из-за технических ошибок, о которых уже говорилось выше: переход на https-версию, а некоторые страницы по-прежнему загружаются на http, использование www-версии против не-www-версии и так далее. Помимо этих технических проблем, вот еще несколько способов борьбы со спамом на вашем сайте.
Поиск дубликатов заголовков и метаописаний на вашем сайте. Знаете вы или нет, но старая версия поисковой консоли Google была лучше, где она предоставляла вам опцию “Улучшение HTML”, которая помогала вам легко находить дубликаты заголовков и мета-описаний. С появлением новой версии Google Search Console от этой функции избавились. Но вот в чем дело: есть еще один невероятный инструмент под названием Visual SEO, который можно использовать для сканирования всего сайта, чтобы легко найти все проблемы с заголовками страниц, метаописаниями и тегами H1. Вот как это выглядит;
Как вы можете видеть выше, этот инструмент поможет вам найти множество вещей на вашем сайте, включая;
- Страницы с отсутствующими тегами заголовков
- Дублирование тегов заголовков
- Страницы с отсутствующими мета-описаниями
- Дублирование метаописаний
- Дублирование тегов H1
- Короткие теги заголовков
- Длинные теги заголовков
- Короткие или длинные мета-описания и так далее
Это покажет вам общий обзор вашего сайта и любые существенные проблемы с дубликатами, которые вы сможете легко исправить, чтобы избежать подобных проблем с контентом на вашем сайте.
Ручная проверка содержимого с помощью поиска Google. Самый простой способ найти похожий контент – выполнить ручной поиск в Google. Просто убедитесь, что нашли пост или страницу, которую вы хотите проверить на плагиат. Теперь скопируйте фрагмент текста или абзац с этой страницы или записи в блоге (который, как вы думаете, будут копировать другие) и вставьте этот фрагмент текста в поиск Google, используя двойные кавычки (“”). Это выглядит следующим образом;
Google мгновенно выдает вам список результатов, если этот текстовый сниппет имеет схожее содержание, в противном случае вы найдете для него ноль результатов поиска (что означает, что для этого текстового сниппета не найдено идентичного содержания).
Поиск идентичного контента за пределами вашего сайта
В предыдущем разделе мы говорили о том, как можно найти похожий контент внутри вашего сайта. Теперь давайте поговорим о том, как вы можете найти спам-контент за пределами вашего сайта, то есть вы ищете скопированное содержимое вашего сайта. Именно здесь вам следует использовать инструменты проверки плагиата для выполнения этой задачи, поскольку вы не всегда можете использовать Google вручную для проверки скопированного содержимого. Учитывая это, вот 3 лучших инструмента, с помощью которых можно легко определить, копируют ли другие сайты содержимое или нет.
Copyscape. Хотя существует масса программ для проверки контента, Copyscape является одним из лучших инструментов для проверки дублированного или спамного контента. Он работает безупречно. Вам просто нужно посетить их сайт и ввести URL вашего сайта. И все, программа выполнит поиск по всему Интернету, чтобы найти все сайты, которые имеют схожий с вашим контент. Он также покажет вам, какая часть текста скопирована вместе с выделенным текстом.
Проверка на плагиат Grammarly. Grammarly – один из самых популярных инструментов для редактирования грамматики, который также можно использовать как средство проверки на плагиат (это можно сделать даже в бесплатной версии). Вы можете легко найти плагиат с помощью инструмента Grammarly, потому что он использует базы данных ProQuest и более 16 миллиардов веб-страниц, чтобы найти скрапленный контент. Просто зайдите на эту страницу и введите несколько блоков текста с вашего сайта или загрузите файл, чтобы посмотреть, нет ли в нем дубликатов, скопированных по всей сети. Положительным моментом в использовании этого инструмента является то, что он выделяет фрагменты, требующие цитирования, и предоставляет вам ресурсы, необходимые для правильного кредитования ваших источников.
Plagiarisma. Это еще один бесплатный инструмент проверки плагиата, который работает как шарм в поиске дублированного контента и скрап-контента. Самое приятное в использовании этого инструмента то, что он поддерживает более 190 языков по всему миру! Все, что вам нужно сделать, это скопировать часть контента с вашего сайта и нажать на “проверить дублированный или скопированный контент” (при этом выбрав предпочтительную поисковую систему, т.е. Google или Bing), и инструмент автоматически начнет поиск любых скопированных статей с тем же текстом.
Как легко исправить проблемы дублированного или похожего контента
До сих пор мы рассказывали о том, как вы можете найти идентичный контент как на своем сайте, так и за его пределами. Теперь давайте поговорим о том, как вы можете легко исправить такие проблемы с контентом.
Удаление скопированного контента из Google
Лучший способ удалить дублированный контент из поиска Google – подать юридический запрос в Google. Google предлагает вам инструмент, с помощью которого вы можете подать юридический запрос на удаление дублированного (или защищенного авторским правом) контента из поиска Google. Вот как это выглядит;
Вы увидите несколько служб Google (выберите соответственно, где появляется ваш контент), чтобы подать запрос на удаление. К этим службам относятся;
- Видео на YouTube (используйте этот вариант, если кто-то использует ваши видео без каких-либо кредитов)
- Поиск изображений (использование ваших изображений без указания ваших заслуг)
- Google Мой бизнес
- Веб-поиск (вы можете искать скопированный или защищенный авторским правом контент, чтобы удалить такой контент из поиска Google)
- Платформа Blogger и так далее
Вы также можете специально использовать “удаление материалов, защищенных авторским правом” в Google. Просто посетите эту ссылку, где вы можете подать уведомление DMCA (Digital Millennium Copyright Act). Вот как это выглядит;
Как вы можете видеть выше, вы можете указать точный URL-адрес (адреса), где можно посмотреть пример работы, защищенной авторским правом. Это будет использоваться их командой для проверки того, что работа появляется на страницах, которые вы просите их удалить. Кроме того, вам необходимо предоставить URL-адрес(ы) материала, предположительно нарушающего авторские права, который вы просите удалить. Вот и все, вы закончили. В течение нескольких дней (обычно около 10 дней) весь скопированный контент будет удален из поиска Google.
Несколько простых способов устранения проблем с дублированным или похожим контентом
Вот несколько самых простых и в то же время эффективных способов устранения проблем с дублированием или копированием контента на вашем сайте в 2022 году и далее.
Используйте 301 перенаправление. Одним из самых простых и в то же время эффективных способов борьбы с копированием контента (или даже тонких страниц) на вашем сайте является использование 301 редиректа. 301 редирект просто сообщает поисковым системам, таким как Google, что определенный URL был навсегда перемещен в новое место (новый URL). 301 редирект включает адрес URL, на который был перемещен ресурс. Для WordPress существует масса плагинов, и вы можете использовать бесплатный и простой плагин, например, плагин Simple 301 Redirects, для перенаправления дубликатов или URL-адресов низкого качества на вашем сайте на другие релевантные, но качественные страницы вашего сайта. Вы также можете использовать плагины Yoast SEO или Rank Math для этих перенаправлений. Проблема решена!
Используйте канонический тег. Канонический тег (который обозначается как “rel=canonical”) – это просто способ сообщить поисковым системам, таким как Google, что определенный URL на вашем сайте представляет собой основную копию страницы. Таким образом, Google будет ранжировать только эту конкретную страницу, даже если найдет на вашем сайте другие страницы с похожим содержанием. Если вы не можете избавиться от всех этих дублирующих URL, то у вас всегда есть возможность перенаправить их на один URL. Вам нужно будет добавить дополнительный тег в область заголовка дублирующей страницы, чтобы поисковые системы, такие как Google, перенаправляли весь трафик на основную статью. Проще говоря, канонический URL помогает предотвратить проблемы дублирования или копирования контента на вашем сайте. Установить канонический тег очень просто, если вы используете плагин WordPress SEO by Yoast. Плагин Yoast SEO WordPress поможет вам легко изменить канонический URL для нескольких типов страниц в настройках плагина.
Небольшое замечание: используйте тег canonical из плагина Yoast SEO только в том случае, если вы хотите изменить canonical на что-то отличное от URL текущей страницы. Вот как это выглядит;
Как вы можете видеть выше, просто перейдите к настройкам плагина Yoast SEO и введите канонический URL, на который должна ссылаться любая ваша конкретная страница. Вы также можете оставить это поле пустым, чтобы по умолчанию использовать permalink.
Совет: Обязательно ознакомьтесь с этим подробным руководством по использованию тега canonical с сайта Yoast, где вы найдете все подробности о его использовании.
Будьте последовательны в своих внутренних ссылках. Все мы знаем, насколько важны внутренние ссылки. Если вы хотите увеличить наполняемость вашего сайта, улучшить глубину ссылок, передать сок ссылок на другие страницы вашего сайта или получить лучшее ранжирование, внутренние ссылки могут вам очень помочь. Но вот в чем дело. Вы должны быть последовательны в использовании внутренних ссылок, чтобы избежать проблем с копированием контента. Например, не ставьте ссылки на
http://www.example.com/page/ и http://www.example.com/page и http://www.example.com/page/index.htm
Вы также можете использовать консоль поиска, чтобы сообщить Google, как вы предпочитаете, чтобы ваш сайт индексировался. Это означает, что вы можете сообщить Google предпочитаемый домен (например, http://www.example.com или http://example.com). Итак, решите, хотите ли вы индексировать страницы вашего сайта с www или не www с помощью консоли поиска Google.
Используйте аудит сайта Semrush. Semrush – один из лучших инструментов SEO, который может помочь вам во всем: от исследования ключевых слов до анализа обратных ссылок. Но главная причина, по которой мы упоминаем Semrush на этой конкретной странице, заключается в том, что он предлагает вам невероятную функцию под названием “аудит сайта”, которая поможет вам найти и устранить все технические и SEO-проблемы на вашем сайте. К ним относятся;
- Легко оптимизируйте внутренние и внешние ссылки
- Добавьте метатеги везде, где их не хватает (включая теги title, meta description, alt-теги изображений).
- Легко находить страницы с дублирующимся контентом
- Поиск и устранение проблем с hreflang и продолжение списка
Если вы ищете бесплатную пробную версию Semrush, воспользуйтесь приведенной ниже ссылкой, и вы получите ее бесплатно на 14 дней.
Используйте различные резюме. Как блоггеры, мы часто полагаемся на широкий спектр платформ для продвижения наших последних записей в блоге, включая;
- Форумы
- Сайты социальных сетей
- Сайты для представления блогов
- Каталоги блогов и т.д.
Ключевым моментом здесь является НЕ использование одного и того же краткого изложения постов вашего блога на всех платформах. Вместо этого создавайте уникальные записи или резюме везде, где вы продвигаете свой блог, чтобы избежать подобных проблем с контентом. Также убедитесь, что на вашем сайте нет пустых страниц. Например, не публикуйте страницы, для которых у вас еще нет контента. Если вы все-таки создаете такие страницы, обязательно используйте тег noindex, чтобы такие страницы не индексировались в результатах поиска Google.
Что НЕ считается дубликатом или плагиатом
Бывают случаи, когда в сети появляется одна и та же копия (точный текст), но это вовсе НЕ считается дубликатом или похожим контентом. Итак, что же это за случаи, когда это не считается дубликатом контента? Вот несколько из них.
Содержание мобильной версии. Существует множество сайтов, использующих мобильные версии содержимого своих сайтов. Наличие одного и того же контента (включая статьи, страницы, продукты и так далее) на вашем сайте наряду с мобильной версией сайта не считается копированием контента. Google достаточно умен, чтобы различать две версии (десктопную и мобильную) одного и того же сайта. Поэтому он просто не рассматривает это как плагиат контента, так что вы можете смело создавать мобильную версию для своего сайта без каких-либо проблем. То же самое относится и к AMP-страницам.
Переведенный контент. Есть несколько сайтов, которые используют перевод своего контента на несколько языков, и переведенный контент НЕ считается дубликатом или спамом (хотя контекст буквально тот же). Почему? Давайте разберемся, что именно Google думает о дублированном контенте. Google определил дублированный контент как “существенные блоки контента в пределах или между доменами, которые либо полностью совпадают с другим контентом, либо заметно похожи”. Это означает, что переведенный контент НЕ является дубликатом или идентичным контентом, поскольку он не совпадает с другим контентом.
Часто задаваемые вопросы о решении проблем с дублированным или идентичным контентом в 2022 году
Вот список нескольких важных вопросов, которые вы можете задать себе в связи с проблемами дублированного или спамерского контента на вашем сайте в 2022 году и далее.
Существует ли штраф за дублированный контент? Нет, такого понятия, как штраф за дублированный или скопированный контент, не существует. Если вам интересно, вот что Google говорит о штрафах за дублирование контента. Дублирование контента на сайте не является основанием для принятия мер в отношении этого сайта, если только не окажется, что целью дублирования контента является обман и манипулирование результатами поисковых систем. Если ваш сайт страдает от таких проблем с контентом, и вы не следуете советам, перечисленным выше, мы делаем хорошую работу по выбору версии контента для показа в результатах поиска. Мы настоятельно рекомендуем вам найти и исправить такие проблемы с контентом, потому что поисковые системы, такие как Google, не знают, какие страницы ранжировать, если на вашем сайте дублируется контент (из-за технических проблем, о которых говорилось выше в этом посте). Вот почему так важно найти и устранить все подобные проблемы с контентом на вашем сайте, если вы хотите улучшить свои органические рейтинги.
Как проверить плагиат в Интернете? В Интернете существует множество инструментов для проверки плагиата, с помощью которых вы можете легко определить, скопировал ли кто-то контент с вашего сайта или нет.
- Copyscape
- Quetext
- Unicheck
- Plagium
- Grammarly
Вышеперечисленные инструменты бесплатны для использования (некоторые из них также имеют премиум-версии, которые предоставляют вам более высокие лимиты и более быструю обработку проверки контента), поэтому используйте их всякий раз, когда вы сомневаетесь, что кто-то копирует ваши материалы.
Влияют ли дублирующиеся заголовки страниц на SEO? Безусловно, да. Вы должны избегать создания дубликатов заголовков страниц любой ценой, потому что заголовки страниц (метазаголовки) имеют большое значение для ранжирования вашей страницы в результатах органического поиска. Обязательно сделайте быстрый поиск в Google по названию, которое вы собираетесь использовать для постов или страниц своего блога. Таким образом, вы сможете избежать повторения или использования одних и тех же заголовков страниц, используемых другими сайтами. Используйте инструменты генератора заголовков, такие как Portent, чтобы легко придумать множество идей для заголовков. Также обязательно создайте уникальное и оригинальное метаописание для каждого сообщения блога и страницы, которые вы публикуете и индексируете в поиске Google. Используйте такие плагины, как Yoast SEO, чтобы создавать уникальные заголовки страниц вместе с мета-описанием, а не позволять Google выбирать случайные фрагменты текста ваших постов.
Может ли дублированный контент ранжироваться в поиске Google? Прошли те времена, когда немногие авторитетные сайты получали более высокие рейтинги за счет перепечатки контента с других сайтов. Теперь Google отдает наименьший приоритет таким сайтам с дублированным контентом. Приведем рекомендации Google Search Quality Evaluator Guidelines от марта 2017 года. Самый низкий рейтинг уместен, если весь или почти весь МК (основной контент) на странице скопирован с небольшим или нулевым количеством времени, усилий, опыта, ручного курирования или добавленной ценности для пользователей. Такие страницы должны иметь самый низкий рейтинг, даже если страница приписывает заслуги за содержание другому источнику. Как видите, дублированный контент имеет наименьший приоритет при ранжировании. Поэтому, чтобы получить более высокий рейтинг, сосредоточьтесь на создании оригинального, высококачественного и уникального контента.
Как Google определяет основную версию дублированного контента? Это интересный вопрос. По словам авторитетного докладчика по SEO Дэна Петровича, “если в Интернете есть несколько экземпляров одного и того же документа, то URL с наивысшим авторитетом становится канонической версией. Остальные считаются дубликатами”. Вот так! Вам не нужно беспокоиться о том, ранжирует ли Google ваш контент или нет, если вы не копируете чужой контент.
Заключительные мысли
Популярный миф о контенте: “Google наказывает сайт с дублированным или скопированным контентом” – хотя это не совсем правда, но наличие такого контента может ухудшить пользовательский опыт вашего сайта, и никогда не знаешь, когда Google действительно начнет наказывать сайты с проблемами дублированного контента. Как говорится, “профилактика лучше лечения”, поэтому всегда лучше решать эти проблемы, и мы уже говорили о некоторых лучших методах поиска и устранения проблем с таким контентом на вашем сайте выше. Постарайтесь найти и устранить эти проблемы на вашем сайте как можно раньше и всегда следите за дублированным или похожим контентом для лучшего поиска и удобства пользователей.
