Sitemap.xml: как собрать карту сайта и проверить её содержимое

Зачем карте сайта отдельная роль

XML-карта предназначена для обработки поисковыми системами. Она отличается от обычной HTML-страницы со ссылками для посетителей. Sitemap помогает обнаруживать URL, но его наличие или отправка не гарантируют, что каждый адрес будет просканирован и включён в поиск. Внутренняя навигация и качество самих страниц по-прежнему требуют отдельной проверки.

Представим каталог, в котором недавно добавили несколько десятков товаров. Если ссылки на часть карточек пока находятся глубоко в структуре, актуальная карта поможет сообщить об этих адресах. Но она не исправит пустые карточки, запреты индексирования и ошибки сервера. Поэтому счётчик принятых URL в интерфейсе поисковика нельзя автоматически приравнивать к числу страниц в выдаче.

Как найти действующую карту

1. Посмотрите настройки карты в CMS или SEO-плагине. Возьмите оттуда фактический публичный адрес, а не предполагаемое имя файла.
2. Проверьте строку Sitemap в robots.txt, если она есть. Это дополнительный способ узнать опубликованный адрес.
3. Откройте карту без входа в административную панель. Убедитесь, что сервер отдаёт сам файл, а не ошибку, авторизацию или страницу с похожим названием.
4. Если перед вами индекс карт, откройте перечисленные в нём файлы. Нужные адреса находятся в дочерних картах, а не обязательно в первом документе.
5. Сохраните дату проверки, список файлов и количество строк каждого списка. Это позволит сравнить результат после изменения генератора.

Несколько карт на одном сайте не являются ошибкой сами по себе. Например, CMS может отдельно собирать страницы, статьи и товары. Важно, чтобы у этих списков был понятный источник и они обновлялись согласованно. Два независимых плагина с разными правилами включения потребуют дополнительной проверки.

Какие URL стоит включать

Google рекомендует перечислять предпочтительные адреса, которые вы хотите видеть в поиске. Если один материал имеет несколько вариантов URL, выберите основной и согласуйте карту с canonical. Это не означает, что достаточно добавить адрес в файл, чтобы он стал каноническим или гарантированно проиндексировался.

• Оставляйте рабочие адреса полезных публичных страниц, которые действительно предназначены для поиска.
• Проверьте, не попали ли в список технические копии, параметры отслеживания, черновики и внутренние результаты поиска.
• Отдельно разберите URL с noindex: их наличие может противоречить назначению вашего списка.
• Уберите устаревшие ссылки на перенаправления или удалённые страницы после проверки, какой адрес должен их заменить.
• Для разных языков проверьте, что публикуются нужные версии, а список не сводит весь сайт к одному языковому разделу.

В качестве рабочего примера возьмите десять адресов из разных типов: товар, категорию, услугу, статью. Откройте их и сопоставьте с данными краулера. Если один шаблон системно выдаёт неверные URL, исправляйте правило генерации карты. Ручное удаление строк из автоматически создаваемого файла обычно не устраняет причину.

Как обращаться с датой изменения

Google использует lastmod, когда значение достоверно отражает существенные изменения страницы. Массовая ежедневная подстановка сегодняшней даты без реального обновления не сообщает о работе с материалом. Поля priority и changefreq Google игнорирует, поэтому их настройку не стоит превращать в главный способ продвижения.

Передайте разработчику понятное правило актуализации: новая страница появляется в подходящей карте после публикации; удалённая или сменившая адрес пересматривается; дата меняется при значимом обновлении. Для контроля сохраните несколько конкретных примеров и сравните их после следующей публикации. Так легче проверить генератор, чем оценивать его по одному красивому XML.

Как проверить обработку и разобрать расхождения

В Search Console можно отправить карту и следить за её обработкой. Однако для отсутствующей в поиске страницы отдельно проверяйте конкретный URL: его ответ, доступность для робота, ограничения индексирования и основной адрес. Данные о карте отвечают на вопрос о файле и обнаружении, а не заменяют всю диагностику страницы.

Если в карте тысяча адресов, а в индексе меньше, сначала выделите примеры каждого состояния. Удалённые страницы, технические копии и новые материалы требуют разных действий. Повторная отправка того же файла без изменения причин не доказывает, что проблема решена. Для начала убедитесь, что сайт действительно выдаёт корректный ответ и нужное содержимое.

После настройки карты повторите проверку тех же файлов и контрольных адресов. Зафиксируйте, какие правила генерации изменились и какие URL теперь включаются. Не удаляйте полезную карту из-за того, что отдельная страница ещё не появилась в поиске: это разные этапы работы поисковой системы, и между ними нельзя обещать фиксированный срок.