Robots.txt: как управлять обходом и не закрыть нужные страницы

Что robots.txt регулирует на практике

Файл представляет собой набор правил для роботов. Googlebot читает подходящие ему инструкции перед обходом. При этом запрещённый для сканирования URL может остаться в поиске, например если о нём известно по внешним ссылкам. Поэтому фраза «закрыли в robots.txt, значит удалили из индекса» неверно описывает результат.

Представим внутренний поиск магазина, который создаёт много адресов по произвольным запросам. Владельцу может понадобиться ограничить обход этой технической области. Но сначала стоит посмотреть реальные URL и их назначение: путь /search/ может быть служебным поиском, а может содержать полезный каталог. Одно название папки не заменяет такой проверки.

Где искать файл и как читать строки

Robots.txt размещают в корне соответствующего сайта. Его область действия связана с протоколом, хостом и портом: файл одного поддомена не задаёт автоматически правила для другого. Для проверки откройте именно нужную версию адреса, например HTTPS-хост, который используется в публичных ссылках.

• User-agent указывает, для какого робота предназначена группа правил. Звёздочка обозначает общую группу, но наличие отдельных групп тоже нужно учитывать.
• Disallow описывает путь, обход которого ограничивается для выбранной группы. Ошибка в широком префиксе может затронуть больше адресов, чем планировалось.
• Allow разрешает подходящий путь в рамках применимых правил. Не пытайтесь оценить итог только по одной вырванной строке.
• Sitemap сообщает местоположение карты сайта. Эта строка не отменяет запреты обхода и не делает страницы автоматически проиндексированными.

Проверка до изменения файла

1. Сохраните текущий robots.txt целиком вместе с датой и адресом, откуда его получили. Проверьте, что перед вами текстовый файл, а не страница ошибки.
2. Определите нужного робота и относящуюся к нему группу. Не применяйте инструкцию для другого поисковика без проверки.
3. Выпишите несколько адресов, которые хотите ограничить, и несколько соседних адресов, которые должны оставаться открытыми.
4. Сопоставьте каждый пример с путями из правил. Отдельно проверьте главную, основные услуги или товары и ресурсы, нужные для отображения страницы.
5. После пробной правки снова получите файл публично и повторите проверку тех же примеров. Убедитесь, что CMS или сервер не отдаёт старую версию.

Для небольшого сайта достаточно начать с нескольких характерных URL. Для каталога с параметрами пригодится выгрузка адресов из обхода. Не добавляйте в запреты целую папку только потому, что в ней найден один нежелательный вариант: соседние страницы могут выполнять самостоятельную задачу и приносить переходы.

Если правил несколько, просите исполнителя показать результат для каждого контрольного URL, а не только текст новой строки. Например, ограничение служебного поиска не должно автоматически закрывать страницу справки с похожим названием пути. При спорном результате сохраните точный адрес, имя робота и полный набор применимых правил: без них коллега не сможет воспроизвести вашу проверку.

Почему запрет может мешать прочитать noindex

Чтобы Google обработал правило noindex, он должен получить страницу или ресурс с этим правилом. Если тот же адрес запрещён в robots.txt, робот может не увидеть директиву. Google также не поддерживает размещение noindex как правила внутри robots.txt. Это разные механизмы, которые нужно выбирать по задаче.

Если требуется исключить публичную служебную страницу из поиска, проверьте возможность обхода и фактический noindex на самой странице. Если речь о конфиденциальных данных, начните с ограничения доступа на сервере. Список закрываемых путей в robots.txt публично доступен и не является способом спрятать документы от человека или недобросовестного робота.

Ошибки после тестирования и переноса сайта

• На публичном сайте осталась тестовая строка Disallow: /. Проверьте её область действия немедленно, сохранив копию исходных настроек.
• Закрыты CSS или JavaScript, необходимые для отображения содержимого. Сравните доступность ресурсов и то, как робот воспринимает страницу.
• Правили файл для www, а рабочие адреса используются без www. Проверьте конкретный хост и поведение перенаправлений.
• Скопировали чужой набор запретов без списка собственных URL. Удалённые или переименованные папки делают такую настройку бессмысленной или опасной.

Менять правило лучше с понятным критерием: выбранные технические адреса ограничены, нужные разделы доступны, конфиденциальная информация защищена отдельно. Сохраните примеры проверки и предыдущую версию файла. Сам по себе короткий robots.txt не означает плохую настройку, а длинный список запретов не доказывает качественное SEO. Для обнаружения страниц и контроля их состояния отдельно используйте Sitemap и Search Console.