Noindex и nofollow: чем отличаются и когда их использовать

Статья отвечает на запрос «noindex nofollow» строго в своей границе: Директивы индексации страницы и ссылок. robots.txt остаётся отдельной инструкцией. Проверка строится на фактических URL, исходном HTML и понятном действии пользователя.

Чем noindex отличается от nofollow

Noindex относится к содержимому страницы и исключает его из результатов поиска после обработки директивы. Nofollow относится к ссылкам: робот не должен использовать страницу как маршрут обхода, хотя может узнать адрес назначения из других источников.

Практическое действие. Комбинация none равна noindex, nofollow. Если запрета нет, index и follow подразумеваются по умолчанию, поэтому добавлять их на каждую страницу необязательно.

Контрольный пример для «чем noindex отличается от nofollow» берут из реального шаблона сайта. Веб-мастер сохраняет исходное состояние, меняет одно правило и повторяет проверку для «индексируемый URL». Если одновременно заменить адрес, навигацию и содержимое, изменение показателя «ответ робота» уже нельзя связать с одной причиной.

Для этапа «чем noindex отличается от nofollow» веб-мастер сначала фиксирует объект «индексируемый URL», затем проверяет «директива» и только после этого оценивает ответ робота. Последовательность важна: если сразу смотреть на статус в поиске, легко принять следствие за причину и выбрать неверную правку.

Отдельная инструкция помогает продолжить этот шаг: robots.txt. Она не повторяет раздел «чем noindex отличается от nofollow», а закрывает следующий технический вопрос.

Как задать meta robots

Метатег размещают внутри head: <meta name="robots" content="noindex, follow">. Для указания только Яндексу используется имя yandex. Несколько противоречащих тегов усложняют результат, поэтому держите одно явное правило.

Практическое действие. После правки смотрите исходный HTML, а не только DOM инспектора: CMS или SEO-плагин может сгенерировать второй тег позже шаблона.

Для этапа «как задать meta robots» веб-мастер сначала фиксирует объект «индексируемый URL», затем проверяет «директива» и только после этого оценивает ответ робота. Последовательность важна: если сразу смотреть на статус в поиске, легко принять следствие за причину и выбрать неверную правку.

В разделе «как задать meta robots» границей служит область действия. В теме «noindex nofollow» соседние настройки могут выглядеть связанными, но отвечают на другой вопрос. Поэтому результат записывают как наблюдение, решение и условие пересмотра, а не как универсальное правило для любого URL.

Отдельная инструкция помогает продолжить этот шаг: Яндекс Вебмастер. Она не повторяет раздел «как задать meta robots», а закрывает следующий технический вопрос.

Когда нужен X-Robots-Tag

HTTP-заголовок удобен для PDF, изображений и других файлов, где нельзя поставить HTML-метатег. Он также подходит для централизованного правила сервера, но его сложнее увидеть редактору страницы.

Практическое действие. Проверяйте ответ командой или сетевой панелью браузера. Заголовок должен приходить на конечном URL с правильным кодом ответа, а не только на промежуточном редиректе.

В разделе «когда нужен x-robots-tag» границей служит область действия. В теме «noindex nofollow» соседние настройки могут выглядеть связанными, но отвечают на другой вопрос. Поэтому результат записывают как наблюдение, решение и условие пересмотра, а не как универсальное правило для любого URL.

Контрольный пример для «когда нужен x-robots-tag» берут из реального шаблона сайта. Веб-мастер сохраняет исходное состояние, меняет одно правило и повторяет проверку для «индексируемый URL». Если одновременно заменить адрес, навигацию и содержимое, изменение показателя «ответ робота» уже нельзя связать с одной причиной.

Яндекс поддерживает директивы noindex, nofollow, none, noarchive, а также разрешающие index, follow и all в метатегах и X-Robots-Tag. Важная оговорка справки: если URL запрещён в robots.txt, робот не сможет применить метатег страницы. Сверяйтесь с актуальной документацией Яндекса.

Отдельная инструкция помогает продолжить этот шаг: canonical URL. Она не повторяет раздел «когда нужен x-robots-tag», а закрывает следующий технический вопрос.

Как закрыть отдельную ссылку

Для конкретной ссылки применяют rel=nofollow. Пользовательские ссылки разумно помечать ugc, рекламные — sponsored; значения можно сочетать. Это описание отношения к ссылке, а не способ скрыть адрес от людей.

Практическое действие. Не ставьте nofollow на все внутренние ссылки ради «сохранения веса». Так вы ломаете нормальный обход и навигацию вместо улучшения сайта.

Контрольный пример для «как закрыть отдельную ссылку» берут из реального шаблона сайта. Веб-мастер сохраняет исходное состояние, меняет одно правило и повторяет проверку для «индексируемый URL». Если одновременно заменить адрес, навигацию и содержимое, изменение показателя «ответ робота» уже нельзя связать с одной причиной.

Для этапа «как закрыть отдельную ссылку» веб-мастер сначала фиксирует объект «индексируемый URL», затем проверяет «директива» и только после этого оценивает ответ робота. Последовательность важна: если сразу смотреть на статус в поиске, легко принять следствие за причину и выбрать неверную правку.

Отдельная инструкция помогает продолжить этот шаг: 301 редирект. Она не повторяет раздел «как закрыть отдельную ссылку», а закрывает следующий технический вопрос.

Что означает тег noindex вокруг текста

Конструкция <noindex> исторически относится к Яндексу и скрывает часть текста от индексирования. Она не является заменой стандартному метатегу для всей страницы и не должна использоваться как универсальное решение для разных поисковиков.

Практическое действие. Если фрагмент не должен быть публичным, удалите его из ответа или закройте авторизацией. Поисковая директива не является контролем доступа.

Для этапа «что означает тег noindex вокруг текста» веб-мастер сначала фиксирует объект «индексируемый URL», затем проверяет «директива» и только после этого оценивает ответ робота. Последовательность важна: если сразу смотреть на статус в поиске, легко принять следствие за причину и выбрать неверную правку.

В разделе «что означает тег noindex вокруг текста» границей служит область действия. В теме «noindex nofollow» соседние настройки могут выглядеть связанными, но отвечают на другой вопрос. Поэтому результат записывают как наблюдение, решение и условие пересмотра, а не как универсальное правило для любого URL.

Отдельная инструкция помогает продолжить этот шаг: ошибка 404. Она не повторяет раздел «что означает тег noindex вокруг текста», а закрывает следующий технический вопрос.

Почему robots.txt может помешать удалению

Чтобы увидеть meta noindex, роботу нужно загрузить страницу. Если URL одновременно закрыт Disallow, метатег может не быть прочитан, а адрес всё равно может быть известен по ссылкам. Для удаления из поиска сначала обеспечивают доступ к директиве и проверяют конкретный сценарий.

Практическое действие. Не меняйте сразу robots.txt, canonical, редирект и noindex: потом невозможно понять, какое правило сработало и нет ли конфликта.

В разделе «почему robots.txt может помешать удалению» границей служит область действия. В теме «noindex nofollow» соседние настройки могут выглядеть связанными, но отвечают на другой вопрос. Поэтому результат записывают как наблюдение, решение и условие пересмотра, а не как универсальное правило для любого URL.

Контрольный пример для «почему robots.txt может помешать удалению» берут из реального шаблона сайта. Веб-мастер сохраняет исходное состояние, меняет одно правило и повторяет проверку для «индексируемый URL». Если одновременно заменить адрес, навигацию и содержимое, изменение показателя «ответ робота» уже нельзя связать с одной причиной.

Отдельная инструкция помогает продолжить этот шаг: SEO-аудит. Она не повторяет раздел «почему robots.txt может помешать удалению», а закрывает следующий технический вопрос.

Когда noindex уместен

Типичные кандидаты — внутренний поиск, технические результаты фильтра, временная служебная страница и вариант, который не должен участвовать в выдаче, но нужен пользователю. Для дубля чаще подходит canonical или редирект, если существует основная версия.

Практическое действие. Решение принимают по судьбе URL: оставить доступным без поиска, объединить, перенести или удалить. У каждой цели свой инструмент.

Контрольный пример для «когда noindex уместен» берут из реального шаблона сайта. Веб-мастер сохраняет исходное состояние, меняет одно правило и повторяет проверку для «индексируемый URL». Если одновременно заменить адрес, навигацию и содержимое, изменение показателя «ответ робота» уже нельзя связать с одной причиной.

Для этапа «когда noindex уместен» веб-мастер сначала фиксирует объект «индексируемый URL», затем проверяет «директива» и только после этого оценивает ответ робота. Последовательность важна: если сразу смотреть на статус в поиске, легко принять следствие за причину и выбрать неверную правку.

Чего noindex не защищает

Страница остаётся доступной по адресу, может попасть в логи, историю браузера и сторонние сервисы. Для личного кабинета, документов и административных разделов нужна авторизация, а иногда коды 401, 403 или 404.

Практическое действие. Не размещайте секрет в HTML с надеждой, что робот послушается. Директива управляет поисковым индексом, а не доступом к данным.

Для этапа «чего noindex не защищает» веб-мастер сначала фиксирует объект «индексируемый URL», затем проверяет «директива» и только после этого оценивает ответ робота. Последовательность важна: если сразу смотреть на статус в поиске, легко принять следствие за причину и выбрать неверную правку.

В разделе «чего noindex не защищает» границей служит область действия. В теме «noindex nofollow» соседние настройки могут выглядеть связанными, но отвечают на другой вопрос. Поэтому результат записывают как наблюдение, решение и условие пересмотра, а не как универсальное правило для любого URL.

Как проверить директивы

Проверьте исходный код, HTTP-заголовки, robots.txt, canonical и конечный код ответа. Затем используйте проверку страницы в Вебмастере. Учитывайте задержку: изменение появится после повторного обхода.

Практическое действие. Соберите таблицу URL, ожидаемая директива, фактический ответ и причина. Массовый noindex после обновления шаблона должен вызывать немедленное предупреждение.

В разделе «как проверить директивы» границей служит область действия. В теме «noindex nofollow» соседние настройки могут выглядеть связанными, но отвечают на другой вопрос. Поэтому результат записывают как наблюдение, решение и условие пересмотра, а не как универсальное правило для любого URL.

Контрольный пример для «как проверить директивы» берут из реального шаблона сайта. Веб-мастер сохраняет исходное состояние, меняет одно правило и повторяет проверку для «индексируемый URL». Если одновременно заменить адрес, навигацию и содержимое, изменение показателя «ответ робота» уже нельзя связать с одной причиной.

Как вернуть страницу в поиск

Удалите запрещающую директиву, убедитесь в ответе 200, доступности для робота и корректном canonical. Добавьте внутреннюю ссылку и отправьте URL на переобход, но не создавайте несколько копий ради ускорения.

Практическое действие. После возвращения следите за статусом индексирования и запросами. Срок зависит от обхода; кнопка переобхода не гарантирует мгновенное восстановление позиции.

Контрольный пример для «как вернуть страницу в поиск» берут из реального шаблона сайта. Веб-мастер сохраняет исходное состояние, меняет одно правило и повторяет проверку для «индексируемый URL». Если одновременно заменить адрес, навигацию и содержимое, изменение показателя «ответ робота» уже нельзя связать с одной причиной.

Для этапа «как вернуть страницу в поиск» веб-мастер сначала фиксирует объект «индексируемый URL», затем проверяет «директива» и только после этого оценивает ответ робота. Последовательность важна: если сразу смотреть на статус в поиске, легко принять следствие за причину и выбрать неверную правку.

Чек-лист для темы «noindex nofollow»

Noindex запрещает индексировать текст страницы, а nofollow просит робота не переходить по ссылкам на ней. Это разные директивы, и ни одна из них не предназначена для защиты конфиденциальных данных. Работа завершена, когда результат воспроизводится на нескольких типах страниц и не ломает путь пользователя.