Техническое SEO
Проверка robots.txt
Правила обхода, технические URL и карты сайта.
Результаты проверки
Что обнаружено
Добавленные вручную адреса
| URL | Тип | HTTP / результат запроса |
|---|
Карты сайта и исходные правила
| Тип и URL | HTTP / наличие | Заголовок | Индексирование |
|---|
Небольшой объем текста сам по себе не основание для запрета. JavaScript не выполняется; скрытые и не попавшие в выборку URL не проверены.
На подтверждение
Предлагаемые исключения
Новые исключения действуют на префикс URL, включая продолжения пути или значения параметра. Существующие правила остаются без изменений.
Проверка перед установкой
Готовый robots.txt
Доступ робота к отдельному URL
Доступ к адресам отчета
| URL | Исходный robots.txt | Версия в редакторе | Строка правила |
|---|
Установка и ограничения проверки
Сохраните исходный файл. Новый robots.txt размещается в корне выбранного сайта. После установки откройте /robots.txt и повторите проверку. Для WordPress физический файл может перекрыть правила SEO-плагина.
Матрица проверяет Allow/Disallow на основе robots-parser с учетом групп роботов. Clean-param проверяется синтаксически, но не моделирует удаление дублей Яндексом. Отчет не является результатом проверки в Яндекс Вебмастере.
Автоматическая выборка: до 16 типов и главная, до 6 XML-карт, до 400 найденных адресов. До 10 дополнительных адресов проверяются отдельно и не исключаются по типу. Помимо ссылок проверяются типовые пути корзины, оформления заказа, аккаунта и поиска. Нестандартные скрытые пути могут остаться вне выборки. Проверка карты подтверждает HTTP 200 и структуру XML, а не корректность всех ее URL. Ресурсы CSS/JS/изображений проверяются только по правилам, без загрузки.