Robots.txt: как настроить файл и не закрыть сайт от поиска

Robots.txt выглядит как небольшой служебный файл, поэтому его часто редактируют между другими задачами: добавляют каталог, копируют правило из чужого шаблона или закрывают параметры одним широким выражением. Цена такой правки может оказаться несоразмерной её размеру. Одна строка способна запретить обход раздела с товарами, скрыть от робота CSS и JavaScript или помешать увидеть директиву noindex.

Безопасная настройка начинается не со списка команд, а с ответа на вопрос: какие URL робот должен загружать, какие не должен и почему. В этой статье используется практическая модель «цель → правило → контрольный URL → проверка → откат». Она помогает оценивать каждую директиву по реальному маршруту, а не по тому, насколько убедительно выглядит готовый шаблон.

Короткий ответ: robots.txt управляет обходом URL роботами, но не является надёжным способом удалить страницу из поиска или защитить конфиденциальные данные. Размещайте файл в корне каждого протокола и хоста, используйте только необходимые правила, оставляйте доступ к важным CSS и JavaScript, проверяйте конкретные URL в Google Search Console и Яндекс Вебмастере и всегда сохраняйте предыдущую рабочую версию.

Что такое robots.txt

Robots.txt — обычный текстовый файл с правилами для автоматических роботов. Перед запросом страниц добросовестный поисковый краулер обращается к файлу, определяет подходящую для своего User-agent группу и сравнивает путь запрашиваемого URL с директивами Allow и Disallow.

Файл отвечает на вопрос об автоматическом доступе, а не о качестве страницы и не о её праве занимать позиции. Если URL разрешён, это ещё не означает, что робот обязательно посетит его или поисковая система включит документ в индекс. Если URL запрещён, содержимое не будет загружено, но сам адрес иногда может оставаться известным поисковой системе из ссылок и других источников.

Robots.txt особенно полезен, когда сайт создаёт много технических маршрутов: результаты внутреннего поиска, бесконечные фильтры, служебные кабинеты, временные страницы генератора, варианты сортировки или тяжёлые URL, не предназначенные для поиска.

Что файл контролирует, а что — нет

Основная функция robots.txt — ограничение обхода. Он может уменьшить число запросов к неважным участкам и направить робота к содержательной части сайта. Но несколько задач требуют других инструментов.

Это разграничение важно для проверки индексации сайта: сообщение «заблокировано в robots.txt» описывает доступ робота, а не автоматически ошибку или необходимость открыть страницу.

Где должен находиться файл

Рабочий адрес имеет вид https://example.com/robots.txt. Имя пишется строчными буквами, файл размещается в корне хоста и должен отдаваться как обычный текст. Варианты /files/robots.txt, /robot.txt и /Robots.txt не являются заменой корневому адресу.

Область действия привязана к сочетанию протокола, хоста и порта. Файл на https://example.com/robots.txt не управляет адресами http://example.com/, https://shop.example.com/ или нестандартным портом. Для активного поддомена нужен собственный файл.

Перед публикацией проверьте четыре условия:

1. адрес открывается без авторизации;
2. сервер возвращает ожидаемый HTTP-код;
3. содержимое является текстом в UTF-8;
4. вместо файла не загружается HTML-страница ошибки, защита CDN или форма входа.

Для Google и Яндекса установлен лимит 500 КиБ/КБ соответственно. На практике хороший файл значительно короче: сотни почти одинаковых строк обычно означают, что правила можно сгруппировать или устранить источник лишних URL.

Как робот выбирает группу правил

Файл состоит из групп. Каждая начинается с одной или нескольких строк User-agent, после которых идут правила. Краулер ищет наиболее конкретную подходящую группу. Для Google отдельная группа Googlebot не объединяется с общей группой *; поэтому правила, которые должны действовать и там и там, необходимо продумать явно.

User-agent: *
Disallow: /internal-search/

User-agent: Googlebot-Image
Disallow: /private-images/

Первое правило предназначено всем роботам, для которых нет более конкретной подходящей группы. Второе описывает доступ Googlebot-Image. Порядок расположения групп не должен служить способом управления приоритетом: решение строится на соответствии имени робота и конкретности правил.

Минимальный безопасный файл

Если ограничивать обход нечего, не нужно придумывать запреты. Минимальная понятная версия может выглядеть так:

User-agent: *
Disallow:

Sitemap: https://example.com/sitemap_index.xml

Пустой Disallow не запрещает URL. Строка Sitemap сообщает абсолютный адрес карты. Такой файл не улучшает позиции сам по себе, но явно фиксирует открытый обход и местоположение карты.

Альтернативой является отсутствие robots.txt. Для Google ответ 404 на запрос файла обычно означает отсутствие ограничений. Однако явный файл удобнее контролировать в проектах, где правила могут понадобиться позже, а изменения проходят через разработку и приёмку.

Как работает User-agent

User-agent определяет получателя группы. Звёздочка обозначает всех роботов, для которых не выбрана более конкретная группа. Не следует копировать длинный список названий краулеров без задачи: он усложняет поддержку и создаёт различия, которые никто не проверяет.

Пример отдельного правила оправдан, если поведение действительно должно отличаться:

User-agent: *
Disallow: /service/

User-agent: Yandex
Allow: /service/public-report/
Disallow: /service/

До внедрения проверьте поддержку директив конкретной системой. Название в User-agent не является средством проверки подлинности запроса: злоумышленник может подставить чужую строку. Для ограничения нежелательного трафика нужны серверные журналы, проверка IP и средства защиты инфраструктуры.

Как использовать Disallow и Allow

Disallow запрещает обход путей, соответствующих правилу. Allow создаёт разрешённое исключение внутри более широкого запрета. Значение начинается с / и сопоставляется с путём URL с учётом регистра.

User-agent: *
Disallow: /account/
Disallow: /search/
Allow: /search/help/

Первое правило закрывает кабинет, второе — результаты внутреннего поиска, третье открывает справочную страницу внутри закрытого каталога. Перед добавлением /search/ нужно убедиться, что полезные посадочные не используют тот же путь.

Не оставляйте комментарий вроде «закрываем фильтры» без примеров. Рядом с задачей храните контрольные URL: один должен блокироваться, другой — оставаться доступным. Тогда смысл изменения можно проверить автоматически и понять через полгода.

Sitemap и комментарии

Директива Sitemap содержит полный URL карты или индекса карт, включая протокол и хост. Она не относится к отдельной группе User-agent, поэтому её обычно размещают внизу файла.

Sitemap: https://example.com/sitemap_index.xml

Robots.txt и карта сайта Sitemap.xml выполняют противоположные, но согласованные роли: первый ограничивает обход, вторая перечисляет канонические страницы, которые сайт считает важными. Запрещённый в robots.txt URL не должен одновременно предлагаться в Sitemap.

Комментарий начинается с #. Используйте комментарии для причины и владельца правила, а не для длинной документации:

# Внутренний поиск: технические URL без самостоятельного спроса
Disallow: /search/

Комментарии игнорируются роботами, но помогают команде не удалить нужное исключение и не продублировать правило.

Подстановочные знаки и точное окончание

Google и крупные поисковые системы поддерживают ограниченную работу с символами * и $. Звёздочка соответствует последовательности символов, знак доллара — концу URL.

Disallow: /*?sort=
Disallow: /*.pdf$

Первая строка может совпасть с URL, где после знака вопроса начинается параметр sort. Вторая закрывает адреса, оканчивающиеся на .pdf, но не URL с параметрами после расширения.

Широкая маска требует выборки реальных адресов. Например, Disallow: /*? может закрыть все URL с параметрами, включая полезные страницы, рекламные переходы, языковые варианты или функции, от которых зависит отображение. Сначала выгрузите паттерны из краулера и логов, затем создайте минимальное правило.

Как определяется приоритет правил

Для Google применяется наиболее конкретное правило — то, у которого совпавшая часть пути длиннее. Если одинаково конкретные Allow и Disallow конфликтуют, выбирается менее ограничивающее правило.

User-agent: *
Disallow: /catalog/
Allow: /catalog/public/

URL /catalog/public/item/ разрешён благодаря более длинному совпадению. Но не стоит строить сложную архитектуру на десятках пересекающихся исключений. Чем труднее человеку предсказать результат, тем выше вероятность, что разные инструменты, поисковые системы или будущие редакторы интерпретируют файл не так, как ожидалось.

Создавайте таблицу тестов из трёх колонок: URL, ожидаемый результат, правило-основание. После любого изменения прогоняйте весь набор, а не только новый адрес.

Robots.txt и noindex — не одно и то же

Disallow не даёт роботу загрузить страницу. noindex можно обнаружить только после загрузки HTML или получения HTTP-заголовка. Поэтому сочетание «закрыть в robots.txt и добавить noindex» часто противоречиво: робот не видит запрет индексирования.

После того как поисковик увидел noindex и исключил URL, решение о дальнейшем ограничении обхода принимается отдельно. Не используйте robots.txt как быстрый переключатель видимости без плана проверки.

Почему robots.txt не защищает данные

Файл доступен публично: любой пользователь может открыть /robots.txt и увидеть названия закрытых каталогов. Кроме того, соблюдение правил добровольно — поисковые роботы обычно следуют стандарту, но вредоносный сканер может проигнорировать его.

Административные панели, документы клиентов, результаты тестов, резервные копии и внутренние API должны быть защищены авторизацией и серверными правами. Закрытие пути Disallow: /private/ может снизить случайный обход, но не превращает публичный URL в закрытый.

По этой же причине не указывайте в комментариях секреты, имена сотрудников, внутренние адреса или устройство инфраструктуры. Robots.txt — инструкция по обходу, а не место хранения конфигурации безопасности.

Параметры, фильтры и фасетная навигация

Интернет-магазины и каталоги способны создавать тысячи комбинаций цвета, размера, бренда, сортировки и цены. Запретить их все кажется простым решением, но часть фильтров может иметь спрос и самостоятельные посадочные страницы.

Сначала разделите URL на четыре группы:

1. полезные индексируемые комбинации;
2. дубли, отличающиеся служебным параметром;
3. комбинации без спроса и уникального предложения;
4. бесконечные или технически ошибочные маршруты.

Для второй группы важны canonical, единые внутренние ссылки и управление параметрами. Для третьей и четвёртой может применяться ограничение обхода, если робот уже понимает основную структуру. Настройку нужно согласовать с работой над дублями страниц сайта, а не использовать robots.txt как единственную систему канонизации.

Пример для WordPress

Универсального robots.txt для WordPress не существует: набор плагинов, поиск, параметры и структура медиа отличаются. Безопасный учебный каркас может выглядеть так:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /?s=
Disallow: /search/

Sitemap: https://example.com/sitemap_index.xml

Перед копированием проверьте, как именно работает поиск, какой адрес генерирует SEO-плагин и нужен ли admin-ajax.php публичным функциям. Не закрывайте целиком /wp-content/: там находятся изображения, CSS, JavaScript и другие ресурсы, необходимые для отображения страниц.

Если WordPress создаёт вложения, архивы авторов или метки, решение об их индексации принимается в настройках CMS и SEO-плагина. Запрет обхода не заменяет отключение ненужного типа страниц или noindex.

Пример для интернет-магазина

Для магазина правила строятся по фактическим параметрам платформы. Пример нельзя считать готовым файлом:

User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /account/
Disallow: /*?sort=
Disallow: /*?view=

Sitemap: https://shop.example.com/sitemap_index.xml

Корзина, оформление и кабинет обычно не являются поисковыми посадочными. Сортировки могут создавать дубли. Но параметры фильтрации нельзя закрывать одной строкой, пока не определены индексируемые комбинации и не проверены ссылки из категорий.

После внедрения просканируйте сайт как обычный робот и как целевой поисковый краулер. Убедитесь, что категории, товары, пагинация и ресурсы доступны, а запрещённые URL действительно относятся к технической части.

Пример для сайта услуг и блога

Небольшому сайту часто достаточно короткого файла. Большое число запретов здесь скорее сигнализирует о лишних страницах CMS, чем о необходимости сложной конфигурации.

User-agent: *
Disallow: /admin/
Disallow: /internal-search/

Sitemap: https://example.com/sitemap.xml

Не закрывайте архивы, рубрики или теги автоматически. Некоторые из них помогают навигации и отвечают отдельному интенту, другие создают тонкие дубли. Решение принимается после контент-аудита сайта и оценки каждой группы страниц.

Внутренние ссылки на запрещённые технические URL всё равно стоит устранять. Robots.txt не исправляет архитектуру и не делает бесполезный маршрут полезным. Логика должна согласовываться с внутренней перелинковкой.

CSS, JavaScript, изображения и файлы

Поисковой системе нужны ресурсы, влияющие на отображение и понимание страницы. Если CSS или JavaScript закрыты, робот может увидеть неполный интерфейс, не загрузить основное содержимое или неверно оценить мобильную версию.

Не блокируйте ресурс только потому, что он находится в техническом каталоге. Сначала проверьте его роль. Критичны стили макета, скрипты отрисовки, API с основным содержимым, изображения товара и файлы, которые сами участвуют в поиске.

Медиа можно ограничивать отдельными правилами для специализированного робота, но решение должно соответствовать цели. Запрет обхода изображения способен убрать его из поиска по картинкам, не запрещая людям или другим сайтам открывать файл по прямой ссылке.

Почему Crawl-delay не универсален

Crawl-delay не входит в набор директив, поддерживаемых Googlebot. Добавление этой строки не гарантирует снижение частоты запросов Google. Другие поисковые системы могут обрабатывать её по-своему, поэтому нельзя считать один файл единым регулятором нагрузки.

Если сервер испытывает проблемы, сначала проверьте производительность, кэш, тяжёлые маршруты, бесконечные параметры и реальные журналы запросов. Ограничивайте конкретные неважные участки, а не весь сайт. Для экстренного управления обходом используйте документированные возможности соответствующей поисковой системы и инфраструктуры.

Коды ответа и кэширование robots.txt

Ответ сервера на запрос файла влияет на поведение робота. Успешный 200 OK позволяет обработать правила. Google обычно воспринимает большинство ответов 4XX, кроме 429, как отсутствие файла и, следовательно, отсутствие ограничений. Ошибки 5XX и сетевые сбои могут временно остановить обход или заставить использовать последнюю доступную версию.

Google обычно кэширует файл до 24 часов, а при проблемах с обновлением может использовать кэш дольше. Поэтому изменение не обязано начать действовать мгновенно. В Search Console предусмотрен запрос повторного обхода файла для критических случаев.

Не настраивайте 503 для robots.txt во время технических работ без понимания последствий. Страница обслуживания и файл управления обходом выполняют разные функции.

Как безопасно подготовить и выпустить изменение

Каждая правка должна проходить короткий протокол:

1. сформулируйте цель обычным языком;
2. выгрузите реальные URL, которых коснётся паттерн;
3. составьте положительные и отрицательные контрольные примеры;
4. проверьте правило локально или в валидаторе;
5. сохраните текущую рабочую версию;
6. опубликуйте файл без одновременных несвязанных изменений;
7. проверьте код ответа и содержимое по живому URL;
8. протестируйте важные страницы в панелях вебмастеров;
9. просмотрите логи и отчёты после обновления;
10. откатите изменение, если оно блокирует целевые страницы или ресурсы.

Для массовой правки добавьте ответственного, дату и номер задачи. Robots.txt должен изменяться как конфигурационный файл, а не как заметка в админ-панели.

Как проверить файл в Google и Яндексе

В Google Search Console отчёт robots.txt показывает найденные файлы, дату последней загрузки, размер, ошибки и предупреждения. Для отдельной страницы используйте проверку URL: она помогает понять, разрешён ли обход и какой файл влияет на адрес.

В Яндекс Вебмастере проверьте файл инструментом анализа robots.txt и выполните анализ индексирования важных страниц. Не ограничивайтесь сообщением «файл корректен»: синтаксически валидное правило всё равно может закрывать нужный каталог.

Контрольная выборка должна включать:

• главную страницу;
• основную услугу или категорию;
• карточку товара или статью;
• пагинацию;
• важный CSS и JavaScript;
• URL, который должен блокироваться;
• разрешённое исключение внутри закрытого раздела;
• Sitemap.

Типичные ошибки настройки

Наиболее опасны не сложные синтаксические ошибки, а понятные на вид правила с слишком широкой областью действия:

• Disallow: / оставлен после разработки или технических работ;
• файл размещён не в корне либо называется неправильно;
• рабочий сайт получает файл от тестового окружения;
• закрыты CSS, JavaScript или API основного содержимого;
• noindex добавлен на страницу, которую робот не может загрузить;
• запрещён весь каталог товаров вместо отдельных параметров;
• в Sitemap остаются заблокированные URL;
• отдельная группа робота неожиданно отменяет логику общей группы;
• регистр пути не совпадает с реальными URL;
• маска применяется без тестирования выборки;
• конфиденциальные данные «защищены» только через Disallow;
• Crawl-delay считается гарантированным регулятором Googlebot;
• изменение опубликовано без резервной версии и плана отката;
• после исправления проверяется только главная страница.

Если после правки важные страницы исчезли из обхода, сначала восстановите доступ, проверьте живой файл и запросите его повторную загрузку. Затем анализируйте последствия — аналогично приёмке после исправления битых ссылок и ошибок 404.

Матрица выбора решения

Эта матрица полезна перед техническим заданием. Если причины многочисленны и пересекаются, начните с технического SEO-аудита, чтобы отделить проблему обхода от ошибок шаблонов, canonical, кодов ответа и структуры.

Чек-лист аудита robots.txt

• Файл доступен по корневому адресу /robots.txt.
• Рабочая версия отдаёт ожидаемый HTTP-код и текст UTF-8.
• Для каждого активного протокола и поддомена проверена собственная область действия.
• Нет случайного Disallow: / для поисковых роботов.
• Каждое правило имеет понятную цель и контрольные URL.
• Важные страницы, CSS, JavaScript, изображения и API доступны.
• Заблокированные URL не противоречат Sitemap.
• noindex доступен роботу для чтения.
• Конфиденциальные разделы защищены не только robots.txt.
• Маски * и $ протестированы на реальной выборке.
• Отдельные группы User-agent не создают неожиданных исключений.
• Проверены главная, услуги, категории, товары, статьи и пагинация.
• Файл проверен в Google Search Console и Яндекс Вебмастере.
• Сохранена предыдущая рабочая версия и предусмотрен откат.
• После выпуска контролируются логи и отчёты обхода.

Частые вопросы

Нужен ли robots.txt каждому сайту

Технически сайт может работать без файла: например, Google воспринимает корректный ответ 404 как отсутствие ограничений. Но явный минимальный robots.txt удобен для контроля, указания Sitemap и будущих изменений. Важно не наличие файла, а корректность его содержания.

Можно ли удалить страницу из Google через Disallow

Не следует использовать Disallow как основной способ удаления. Google может знать URL по ссылкам и показывать адрес без сниппета. Чтобы исключить доступную страницу из результатов, разрешите обход и используйте noindex; для закрытых данных применяйте авторизацию.

Нужно ли закрывать все URL с параметрами

Нет. Параметры могут использовать фильтры с поисковым спросом, пагинацию, языковые версии или важные функции. Сначала классифицируйте реальные комбинации, настройте canonical и ссылки, затем ограничивайте только подтверждённые технические паттерны.

Можно ли скопировать готовый robots.txt конкурента

Нет. Одинаковая CMS не означает одинаковую структуру URL, плагины и бизнес-логику. Чужое правило может закрыть ваши товары, ресурсы или посадочные страницы. Используйте примеры только как синтаксическую основу.

Как быстро поисковик увидит изменение

Не мгновенно. Google обычно кэширует файл до суток, иногда дольше при ошибках получения. После критической правки проверьте живой файл и используйте запрос повторного обхода robots.txt в Search Console, но учитывайте, что переобход самих страниц происходит отдельно.

Влияет ли правильный robots.txt на позиции

Сам по себе файл не повышает релевантность и не гарантирует рост. Он помогает роботу эффективнее обходить структуру и не тратить запросы на часть технических URL. Результат зависит от доступности, качества и связности целевых страниц и общей системы SEO-продвижения сайта.

Итог

Хороший robots.txt — не самый длинный и не самый строгий. Это короткая проверяемая карта допуска, в которой каждое ограничение связано с конкретной технической задачей и набором контрольных URL.

Разделяйте обход, индексирование, канонизацию и безопасность. Не закрывайте страницу, если робот должен прочитать noindex; не используйте Disallow вместо авторизации; не копируйте маски без анализа реальных адресов. Сохраняйте рабочую версию, тестируйте изменения в обеих поисковых системах и проверяйте не только файл, но и фактическую доступность важных страниц. Тогда robots.txt помогает архитектуре сайта, а не превращается в скрытый источник потери видимости.