Иногда страницу действительно не стоит показывать в поиске. Например, это может быть тестовая версия сайта, служебный раздел, дубликат посадочной страницы, результат внутреннего поиска или документ, утративший актуальность. Но универсальной команды «спрятать всё» не существует: способ зависит от того, хотите вы ограничить обход, убрать URL из выдачи или закрыть сам доступ к информации.
Неверно выбранный метод создаёт две противоположные проблемы. В одном случае поисковик продолжает показывать URL, хотя владелец уверен, что всё закрыл. В другом — из выдачи случайно исчезают коммерческие страницы и сайт теряет трафик. Ниже разберём безопасные сценарии для Яндекса и Google и дадим готовые примеры.
Короткий ответ: для обычной HTML-страницы, которую нужно убрать из поиска, чаще всего используют
noindex. Для PDF и других не-HTML-файлов — HTTP-заголовокX-Robots-Tag: noindex. Для удалённого адреса возвращают404или410, а для конфиденциальной и тестовой среды включают авторизацию или защиту паролем.robots.txtуправляет обходом, но не гарантирует исключение URL из индекса.
Сначала определите цель
Термины «сканирование», «индексация» и «доступ» часто используют как синонимы, хотя это разные этапы.
| Задача | Что это означает | Подходящий инструмент |
|---|---|---|
| Ограничить сканирование | Робот не должен часто обходить определённые пути или параметры. | robots.txt |
| Исключить из результатов поиска | Страница доступна по адресу, но не должна показываться в выдаче. | noindex или X-Robots-Tag |
| Закрыть доступ к содержимому | Страницу не должны видеть ни поисковые системы, ни посторонние пользователи. | Авторизация, пароль, ограничение по сети |
| Удалить несуществующий URL | Контент удалён без замены и больше не должен участвовать в поиске. | HTTP-статус 404 или 410 |
Если нужно разобраться, как робот находит, обрабатывает и добавляет документы в базу, сначала прочитайте материал про индексацию сайта. Это поможет не перепутать запрет обхода с удалением из результатов поиска.
Какой способ выбрать
| Ситуация | Основное решение | Что важно учесть |
|---|---|---|
| HTML-страница должна открываться, но не показываться в поиске | Мета-тег robots со значением noindex | Не блокируйте её в robots.txt, пока робот не увидит директиву |
| PDF, изображение или другой файл нужно исключить из поиска | HTTP-заголовок X-Robots-Tag: noindex | Заголовок должен возвращаться именно в ответе нужного файла |
| Служебные фильтры и параметры создают лишний обход | Правила в robots.txt | Это не защита данных и не гарантированное удаление URL |
| Тестовый сайт, личный кабинет или закрытый документ | Пароль или полноценная авторизация | Не публикуйте секретные адреса в robots.txt |
| Страница удалена навсегда и аналога нет | 404 Not Found или 410 Gone | Удалите URL из sitemap и внутренних ссылок |
| У страницы появился полноценный новый адрес | Постоянный редирект 301 | Перенаправляйте на релевантную замену, а не автоматически на главную |
| Несколько страниц дублируют одну и ту же версию | rel="canonical" и единообразная перелинковка | Canonical — подсказка о предпочтительном URL, а не средство защиты |
1. Мета-тег noindex для HTML-страницы
Если страница должна открываться пользователям, но не должна появляться в поиске, добавьте в секцию <head>:
<meta name="robots" content="noindex">Директива относится ко всем роботам, которые её поддерживают. При необходимости можно задать отдельные правила для конкретной поисковой системы:
<meta name="googlebot" content="noindex">
<meta name="yandex" content="noindex">В большинстве случаев общий вариант короче и удобнее. Значение follow дописывать не обязательно: возможность переходить по ссылкам является поведением по умолчанию. Комбинация noindex, nofollow нужна редко и не должна ставиться на служебные страницы автоматически.
Почему нельзя сразу добавить Disallow
Чтобы выполнить noindex, робот должен загрузить страницу и увидеть мета-тег. Если тот же URL закрыт в robots.txt, содержимое может остаться недоступным для проверки. В результате уже известный поисковику адрес иногда продолжает отображаться без нормального описания.
Практическое правило: если URL уже находится в поиске, оставьте его доступным для обхода и отдавайте
noindexдо исключения из индекса. Не сочетайтеnoindexсDisallowбез понятной технической причины и проверки результата.
2. X-Robots-Tag для PDF и других файлов
У PDF, изображения или архива нет HTML-секции <head>. Для таких ресурсов директиву передают в HTTP-заголовке ответа:
HTTP/1.1 200 OK
Content-Type: application/pdf
X-Robots-Tag: noindexЗаголовок подходит и для HTML, если управлять индексированием удобнее на уровне веб-сервера. Главное — проверить фактический ответ конкретного URL, а не только конфигурационный файл. Например:
curl -I https://example.com/files/price.pdfВ ответе должна присутствовать строка X-Robots-Tag: noindex. Как и в случае с мета-тегом, файл нельзя одновременно скрывать от робота в robots.txt, иначе поисковая система может не получить заголовок.
3. Robots.txt — для управления обходом
Файл robots.txt располагают в корне хоста:
https://example.com/robots.txtЧтобы запретить обход определённого раздела всем роботам, используют правило:
User-agent: *
Disallow: /search/Чтобы временно запретить обход всего сайта:
User-agent: *
Disallow: /Но второй пример не равен «надёжно убрать сайт из поиска». Поисковик может знать адрес из внешней ссылки, старого индекса, sitemap или переадресации. Он не прочитает контент, но сам URL способен остаться в результатах.
robots.txt уместен, когда нужно сократить обход технических комбинаций: внутреннего поиска, бесконечных фильтров, служебных параметров или генерируемых календарей. При этом важные стили, скрипты и изображения, необходимые для корректного рендеринга страницы, лучше не блокировать.
И никогда не используйте robots.txt как список секретных папок. Файл открыт любому посетителю и сам раскрывает указанные пути.
4. Пароль и авторизация для закрытого контента
Тестовая версия, административный интерфейс, внутренняя документация, персональные данные и коммерческая информация должны быть защищены на уровне доступа. Подходящие варианты:
- HTTP-аутентификация на веб-сервере;
- вход по логину и паролю в приложении;
- ограничение по корпоративной сети или VPN;
- список разрешённых IP-адресов, если он подходит рабочему процессу.
В таком сценарии поисковый робот получает отказ в доступе и не может прочитать содержимое. Это принципиально надёжнее, чем noindex: мета-тег сообщает поисковику пожелание, но не мешает человеку открыть URL.
Если проект работает по HTTPS, данные между браузером и сервером передаются в зашифрованном виде. Подробнее о роли протокола — в статье чем HTTP отличается от HTTPS. Однако сам HTTPS не делает общедоступную страницу закрытой: для этого всё равно нужна авторизация.
5. Коды 404 и 410 для удалённой страницы
Когда контент удалён навсегда и равноценной замены нет, сервер должен вернуть:
404 Not Found— ресурс не найден;410 Gone— ресурс намеренно удалён.
Оба ответа позволяют поисковым системам со временем исключить адрес из индекса. Не оставляйте удалённую страницу с кодом 200 OK и сообщением «ничего не найдено»: это мягкая ошибка, которая затрудняет обработку URL.
Если существует релевантная замена, настройте 301 на неё. Перенаправлять все удалённые материалы на главную страницу не стоит: такое соответствие обычно бесполезно посетителю и может быть воспринято как ошибочное.
6. Canonical для дублей
Если несколько доступных адресов содержат одинаковый или очень похожий материал, обычно правильнее выбрать основной URL и указать его как канонический:
<link rel="canonical" href="https://example.com/catalog/product/">Параллельно используйте основной адрес во внутренних ссылках и sitemap. rel="canonical" помогает объединить сигналы дублей, но не гарантирует сокрытие и тем более не защищает данные. Для страницы, которая вообще не должна попадать в поиск, используйте noindex.
Как закрыть весь сайт от индексации
Решение зависит от того, зачем закрывается весь проект.
Сайт ещё разрабатывается
Лучший вариант для тестового домена или поддомена — пароль. Дополнительно можно ограничить доступ по сети. Так черновик не попадёт в выдачу из-за случайной ссылки и не станет доступен посторонним.
Не рассчитывайте только на Disallow: /: адреса могут стать известны поисковику, а файл robots.txt не является средством безопасности.
На действующем сайте короткие технические работы
Не включайте noindex на всех страницах ради нескольких часов обслуживания. Сохраняйте сайт доступным, а если сервер временно не может показать контент, корректно возвращайте 503 Service Unavailable и по возможности Retry-After. Массовый noindex, 404 или закрытие в robots.txt может привести к ненужному выпадению страниц.
Проект закрывается навсегда
Если содержимое удаляется без переноса, возвращайте 404 или 410. Если проект переезжает, настройте постраничные 301 на максимально соответствующие новые адреса. До отключения старого домена проверьте историю и возможные риски: в этом поможет материал про историю домена.
Как закрыть страницу в WordPress
В WordPress есть несколько уровней управления.
Весь сайт на этапе разработки
В панели администратора откройте Настройки → Чтение и включите просьбу к поисковым системам не индексировать сайт. Название и формулировка пункта могут отличаться в зависимости от версии и языка интерфейса.
У этой настройки есть два ограничения:
- Это рекомендация роботам, а не защита содержимого.
- Перед запуском сайта флажок легко забыть выключить.
Поэтому для тестовой среды всё равно предпочтителен пароль, а перед релизом нужна отдельная SEO-проверка.
Отдельная запись или страница
SEO-плагины обычно позволяют задать noindex в настройках конкретной публикации. После сохранения откройте исходный HTML и убедитесь, что в <head> действительно появился мета-тег. Не ориентируйтесь только на положение переключателя в админке: тема, кеш или другой плагин могут изменить итоговую разметку.
Если страница предназначена только для выбранных посетителей, используйте встроенную защиту паролем или систему ролей, а не SEO-директиву.
Как быстро удалить уже проиндексированный URL
Удаление из поисковой выдачи состоит из двух частей: постоянного сигнала на самом сайте и ускоряющего запроса в панели вебмастера.
Шаг 1. Настройте постоянное состояние
Выберите один вариант:
- страница остаётся доступной — отдавайте
noindex; - контент удалён — возвращайте
404или410; - есть новая версия — настройте
301; - содержимое закрытое — включите авторизацию.
Затем уберите ненужный URL из XML-карты и внутренних ссылок. Само удаление из sitemap не является директивой noindex, но помогает привести сигналы сайта в порядок.
Шаг 2. Отправьте запрос на ускорение
В Google Search Console можно использовать инструмент удаления, а в Яндекс Вебмастере — раздел удаления страниц из поиска. Эти инструменты ускоряют обработку, но не заменяют постоянное решение на сайте. Если вернуть страницу с кодом 200 без запрета индексации, она сможет появиться снова.
Для контроля Яндекса пригодится наша обновлённая инструкция как добавить сайт в Яндекс Вебмастер.
Как проверить, закрыта ли страница
Проверку удобно провести в четыре этапа.
1. Посмотрите HTTP-ответ
curl -I https://example.com/page/Проверьте статус (200, 301, 404, 410, 503) и наличие X-Robots-Tag, если он используется.
2. Проверьте исходный HTML
Откройте исходный код страницы и найдите robots. Важно смотреть разметку, полученную от сервера, а не только DOM после выполнения JavaScript. Директива должна находиться в корректной секции <head>.
3. Проверьте robots.txt
Убедитесь, что путь не закрывает роботу доступ к странице с noindex. Заодно проверьте, не запрещены ли CSS и JavaScript, необходимые для отображения основного контента.
4. Используйте панели поисковых систем
В Google Search Console запустите проверку URL. В Яндекс Вебмастере проверьте страницу и анализ robots.txt. После изменения директив поисковым системам требуется время на повторный обход и обновление индекса.
Частые ошибки
Одновременно noindex и Disallow
Робот не может прочитать noindex, если ему запрещено загружать страницу. Особенно опасна такая комбинация для URL, которые уже находятся в выдаче.
Конфиденциальный раздел указан в robots.txt
Файл общедоступен и не мешает человеку открыть адрес. Закрытые материалы требуют авторизации.
Nofollow добавлен ко всем закрытым страницам
nofollow относится к ссылкам, а не усиливает удаление страницы. Его массовое применение способно ухудшить обнаружение связанных материалов.
Страница удалена из меню, но остаётся доступной
Отсутствие внутренней ссылки не означает запрет индексации. URL может быть известен из внешних ссылок, старой карты сайта или истории обхода.
В sitemap остаются закрытые URL
Карта сайта сообщает, какие адреса владелец считает подходящими для обхода и индексации. Не добавляйте в неё страницы с noindex, редиректы, ошибки и технические дубли.
Закрыта важная коммерческая страница
Перед массовым внедрением выгрузите список затронутых URL и проверьте шаблоны. После релиза контролируйте органический трафик и видимость сайта.
После запуска забыли снять запрет
Это типичная проблема WordPress и тестовых копий. В чек-лист публикации должны входить проверка мета-тега robots, HTTP-заголовков, файла robots.txt, авторизации и XML-карты.
Как вернуть страницу в поиск
Если URL закрыли по ошибке:
- Удалите
noindexиз HTML или HTTP-заголовка. - Разрешите обход страницы в
robots.txt. - Убедитесь, что сервер отвечает
200 OK, а страница не требует неожиданной авторизации. - Добавьте адрес в актуальную XML-карту.
- Поставьте внутреннюю ссылку с релевантной индексируемой страницы.
- Запросите повторный обход в панелях поисковых систем.
Не ждите мгновенного возвращения: робот должен заново загрузить документ, а поисковая система — обработать сигналы. Если видимые технические ошибки устранены, но органический трафик не растёт, проверьте и другие причины, почему SEO не приносит клиентов.
Чек-лист перед публикацией изменений
- Определена точная цель для каждой группы URL.
- Конфиденциальные материалы защищены авторизацией.
- Страницы с
noindexдоступны роботу для чтения директивы. - Удалённые URL возвращают
404или410, а перенесённые — релевантный301. - В XML-карте нет
noindex, редиректов и ошибочных адресов. - Важные CSS- и JS-файлы не закрыты от обхода без причины.
- Настройки проверены по фактическому HTTP-ответу и исходному коду.
- После внедрения запланирован контроль в Яндекс Вебмастере и Google Search Console.
Частые вопросы
Можно ли полностью закрыть сайт одним robots.txt?
Можно запретить обход директивой Disallow: /, но это не гарантирует исчезновение всех URL из результатов. Для тестового или закрытого сайта используйте пароль, для доступных страниц — noindex, для удалённых — 404 или 410.
Через сколько страница исчезнет из поиска после noindex?
После того как робот повторно загрузит страницу и обработает директиву. Срок зависит от частоты обхода и состояния сайта. Ускорить процесс помогают инструменты удаления в панелях поисковых систем, но постоянный сигнал всё равно должен оставаться на сайте.
Нужно ли удалять страницу из sitemap?
Да, если она закрыта от индексации, перенаправляет или больше не существует. XML-карта должна содержать канонические страницы с ответом 200 OK, которые вы действительно хотите видеть в поиске.
Что лучше для дубля: noindex или canonical?
Если дублирующие версии полезны пользователям и должны оставаться доступными, обычно выбирают основной URL через canonical. Если конкретная страница вообще не должна участвовать в поиске, подходит noindex. Решение зависит от роли URL в структуре сайта.
Можно ли скрыть PDF через meta robots?
Нет, у PDF нет HTML-секции <head>. Передайте X-Robots-Tag: noindex в HTTP-ответе файла.
Защищает ли noindex персональные данные?
Нет. Страница по-прежнему открывается по прямой ссылке. Персональные и коммерчески чувствительные данные нужно защищать авторизацией и корректной моделью доступа.
Вывод
Надёжное управление индексацией начинается не с директивы, а с правильной постановки задачи. robots.txt ограничивает обход, noindex исключает доступную страницу из поиска, X-Robots-Tag делает то же для файлов, пароль защищает содержимое, а 404, 410 и 301 сообщают судьбу удалённого или перенесённого URL.
Если на сайте накопились противоречивые правила, закрытые коммерческие страницы, дубли и ошибки в карте сайта, безопаснее сначала провести SEO-аудит. Так можно исправить индексацию без случайной потери посадочных страниц и органического трафика.
