Дубли страниц сайта: как найти и закрыть от индексации

Статья отвечает на запрос «дубли страниц» строго в своей границе: Технические копии URL и параметры. Смысловая каннибализация и canonical раскрываются отдельными ссылками. Проверка строится на фактических URL, исходном HTML и понятном действии пользователя.

Какие дубли встречаются чаще всего

Одна страница может открываться по HTTP и HTTPS, с www и без него, со слешем и без, в разном регистре, с UTM и сортировками. Интернет-магазины добавляют фильтры и пагинацию, CMS — печатные и служебные версии.

Практическое действие. Составьте перечень правил генерации URL. Случайная выборочная проверка не показывает масштаб, если комбинации параметров создаются автоматически.

В разделе «какие дубли встречаются чаще всего» границей служит причина дубля. В теме «дубли страниц» соседние настройки могут выглядеть связанными, но отвечают на другой вопрос. Поэтому результат записывают как наблюдение, решение и условие пересмотра, а не как универсальное правило для любого URL.

Контрольный пример для «какие дубли встречаются чаще всего» берут из реального шаблона сайта. Технический специалист сохраняет исходное состояние, меняет одно правило и повторяет проверку для «дублирующий URL». Если одновременно заменить адрес, навигацию и содержимое, изменение показателя «группа копий» уже нельзя связать с одной причиной.

Отдельная инструкция помогает продолжить этот шаг: канонический URL. Она не повторяет раздел «какие дубли встречаются чаще всего», а закрывает следующий технический вопрос.

Найдите группы одинакового содержимого

Сравните заголовки, основной текст, canonical, код ответа и шаблонные блоки. Хеш очищенного содержимого помогает найти точные копии, а сходство текста — почти одинаковые страницы.

Практическое действие. Не считайте дублями карточки разных товаров только из-за общего шаблона. Проверяйте, есть ли уникальный объект, характеристики и самостоятельный пользовательский выбор.

Контрольный пример для «найдите группы одинакового содержимого» берут из реального шаблона сайта. Технический специалист сохраняет исходное состояние, меняет одно правило и повторяет проверку для «дублирующий URL». Если одновременно заменить адрес, навигацию и содержимое, изменение показателя «группа копий» уже нельзя связать с одной причиной.

Для этапа «найдите группы одинакового содержимого» технический специалист сначала фиксирует объект «дублирующий URL», затем проверяет «каноническая версия» и только после этого оценивает группа копий. Последовательность важна: если сразу смотреть на единый адрес, легко принять следствие за причину и выбрать неверную правку.

Отдельная инструкция помогает продолжить этот шаг: 301 редирект. Она не повторяет раздел «найдите группы одинакового содержимого», а закрывает следующий технический вопрос.

Проверьте версии домена и протокола

Все альтернативы должны приводить к одному основному адресу: HTTP/HTTPS, www/без www и регистр. Выберите правило, настройте один постоянный переход и избегайте цепочки из нескольких редиректов.

Практическое действие. Проверьте главную и несколько глубоких страниц. Настройка только для корня оставляет внутренние URL доступными в двух версиях.

Для этапа «проверьте версии домена и протокола» технический специалист сначала фиксирует объект «дублирующий URL», затем проверяет «каноническая версия» и только после этого оценивает группа копий. Последовательность важна: если сразу смотреть на единый адрес, легко принять следствие за причину и выбрать неверную правку.

В разделе «проверьте версии домена и протокола» границей служит причина дубля. В теме «дубли страниц» соседние настройки могут выглядеть связанными, но отвечают на другой вопрос. Поэтому результат записывают как наблюдение, решение и условие пересмотра, а не как универсальное правило для любого URL.

Яндекс рекомендует для копий главной страницы использовать 301 или указать предпочитаемый canonical; для дублей из GET-параметров в отдельных случаях применяется Clean-param. Конкретный способ зависит от причины, поэтому сверяйтесь с официальной инструкцией о дублировании страниц.

Отдельная инструкция помогает продолжить этот шаг: noindex и nofollow. Она не повторяет раздел «проверьте версии домена и протокола», а закрывает следующий технический вопрос.

Разберите параметры URL

UTM обычно не меняют содержание, сортировка меняет порядок, фильтр может создавать полезную отдельную выборку. Нельзя закрыть все параметры одним правилом без карты их назначения.

Практическое действие. Отметьте параметры аналитики, представления, фильтрации и персонализации. Для каждого решите: canonical, Clean-param, самостоятельная страница или запрет создания ссылки.

В разделе «разберите параметры url» границей служит причина дубля. В теме «дубли страниц» соседние настройки могут выглядеть связанными, но отвечают на другой вопрос. Поэтому результат записывают как наблюдение, решение и условие пересмотра, а не как универсальное правило для любого URL.

Контрольный пример для «разберите параметры url» берут из реального шаблона сайта. Технический специалист сохраняет исходное состояние, меняет одно правило и повторяет проверку для «дублирующий URL». Если одновременно заменить адрес, навигацию и содержимое, изменение показателя «группа копий» уже нельзя связать с одной причиной.

Отдельная инструкция помогает продолжить этот шаг: robots.txt. Она не повторяет раздел «разберите параметры url», а закрывает следующий технический вопрос.

Когда использовать 301 редирект

Редирект подходит, если старая версия больше не нужна пользователю и существует однозначная новая. Он особенно уместен для протокола, хоста, регистра, старого slug и копии index.php.

Практическое действие. Перенаправляйте на эквивалентный URL, а не на главную. Обновите внутренние ссылки, чтобы робот и пользователь не проходили редирект каждый раз.

Контрольный пример для «когда использовать 301 редирект» берут из реального шаблона сайта. Технический специалист сохраняет исходное состояние, меняет одно правило и повторяет проверку для «дублирующий URL». Если одновременно заменить адрес, навигацию и содержимое, изменение показателя «группа копий» уже нельзя связать с одной причиной.

Для этапа «когда использовать 301 редирект» технический специалист сначала фиксирует объект «дублирующий URL», затем проверяет «каноническая версия» и только после этого оценивает группа копий. Последовательность важна: если сразу смотреть на единый адрес, легко принять следствие за причину и выбрать неверную правку.

Отдельная инструкция помогает продолжить этот шаг: Sitemap.xml. Она не повторяет раздел «когда использовать 301 редирект», а закрывает следующий технический вопрос.

Когда подходит canonical

Canonical сохраняет доступ к вариантам, но сообщает предпочитаемую версию для поиска. Он полезен для параметров, печатных страниц и близких вариантов, которые нельзя перенаправить.

Практическое действие. Канонический URL должен отвечать 200, быть доступен и не противоречить Sitemap или внутренним ссылкам. Самоссылочный canonical на основной версии упрощает контроль.

Для этапа «когда подходит canonical» технический специалист сначала фиксирует объект «дублирующий URL», затем проверяет «каноническая версия» и только после этого оценивает группа копий. Последовательность важна: если сразу смотреть на единый адрес, легко принять следствие за причину и выбрать неверную правку.

В разделе «когда подходит canonical» границей служит причина дубля. В теме «дубли страниц» соседние настройки могут выглядеть связанными, но отвечают на другой вопрос. Поэтому результат записывают как наблюдение, решение и условие пересмотра, а не как универсальное правило для любого URL.

Отдельная инструкция помогает продолжить этот шаг: Яндекс Вебмастер. Она не повторяет раздел «когда подходит canonical», а закрывает следующий технический вопрос.

Когда нужен noindex

Noindex оставляет страницу доступной пользователю, но просит не включать её текст в поиск. Это вариант для внутреннего поиска и некоторых служебных результатов, но не универсальное лечение дублей.

Практическое действие. Не сочетайте инструменты без необходимости. Если страница навсегда объединена, 301 яснее; если это вариант основного содержания, canonical точнее описывает связь.

В разделе «когда нужен noindex» границей служит причина дубля. В теме «дубли страниц» соседние настройки могут выглядеть связанными, но отвечают на другой вопрос. Поэтому результат записывают как наблюдение, решение и условие пересмотра, а не как универсальное правило для любого URL.

Контрольный пример для «когда нужен noindex» берут из реального шаблона сайта. Технический специалист сохраняет исходное состояние, меняет одно правило и повторяет проверку для «дублирующий URL». Если одновременно заменить адрес, навигацию и содержимое, изменение показателя «группа копий» уже нельзя связать с одной причиной.

Согласуйте Sitemap и внутренние ссылки

В карте должны находиться только основные индексируемые URL. Меню, крошки, карточки и статьи тоже должны вести на них. Иначе сайт одновременно заявляет несколько версий.

Практическое действие. После исправления пересоберите Sitemap, но не отправляйте его много раз в день. Дождитесь обработки и контролируйте статус групп.

Контрольный пример для «согласуйте sitemap и внутренние ссылки» берут из реального шаблона сайта. Технический специалист сохраняет исходное состояние, меняет одно правило и повторяет проверку для «дублирующий URL». Если одновременно заменить адрес, навигацию и содержимое, изменение показателя «группа копий» уже нельзя связать с одной причиной.

Для этапа «согласуйте sitemap и внутренние ссылки» технический специалист сначала фиксирует объект «дублирующий URL», затем проверяет «каноническая версия» и только после этого оценивает группа копий. Последовательность важна: если сразу смотреть на единый адрес, легко принять следствие за причину и выбрать неверную правку.

Не путайте дубли с повторяющимся шаблоном

Шапка, футер, карточки рекомендаций и юридические блоки повторяются законно. Проблема возникает, когда основной ответ страницы не отличается или один объект доступен по нескольким адресам.

Практическое действие. Оценивайте центральное содержание и назначение URL. Автоматический процент сходства — фильтр для проверки, а не окончательный приговор.

Для этапа «не путайте дубли с повторяющимся шаблоном» технический специалист сначала фиксирует объект «дублирующий URL», затем проверяет «каноническая версия» и только после этого оценивает группа копий. Последовательность важна: если сразу смотреть на единый адрес, легко принять следствие за причину и выбрать неверную правку.

В разделе «не путайте дубли с повторяющимся шаблоном» границей служит причина дубля. В теме «дубли страниц» соседние настройки могут выглядеть связанными, но отвечают на другой вопрос. Поэтому результат записывают как наблюдение, решение и условие пересмотра, а не как универсальное правило для любого URL.

Проверьте результат исправления

Сканируйте альтернативные варианты, смотрите конечный код, canonical и число индексируемых страниц. В Вебмастере проверяйте уведомления о параметрах, дубли title и выбранные основные адреса.

Практическое действие. Переоценка занимает время. Сохраните таблицу групп и решение, чтобы следующий релиз CMS не вернул старую ошибку.

В разделе «проверьте результат исправления» границей служит причина дубля. В теме «дубли страниц» соседние настройки могут выглядеть связанными, но отвечают на другой вопрос. Поэтому результат записывают как наблюдение, решение и условие пересмотра, а не как универсальное правило для любого URL.

Контрольный пример для «проверьте результат исправления» берут из реального шаблона сайта. Технический специалист сохраняет исходное состояние, меняет одно правило и повторяет проверку для «дублирующий URL». Если одновременно заменить адрес, навигацию и содержимое, изменение показателя «группа копий» уже нельзя связать с одной причиной.

Чек-лист для темы «дубли страниц»

Дубли страниц — разные URL с одинаковым или почти одинаковым содержанием. Они появляются из-за параметров, регистра, слеша, протокола, печатных версий, фильтров и ошибок CMS; поисковая система выбирает одну версию как основную. Работа завершена, когда результат воспроизводится на нескольких типах страниц и не ломает путь пользователя.