Screaming Frog SEO Spider: как проверить сайт и получить полезную выгрузку

Сначала определите, что хотите проверить

Для первого знакомства возьмите небольшой публичный сайт или согласованный раздел. Сформулируйте вопрос: есть ли пустые Title, куда ведут внутренние редиректы, доступны ли страницы услуг. Под такой вопрос проще выбрать нужные таблицы и проверить несколько найденных примеров. Если открыть сразу все предупреждения программы, обычные особенности сайта будут выглядеть одинаково важными.

Разделяйте данные обхода и выводы о поиске. Например, найденный ответ 404 показывает проблему конкретного запроса в момент проверки. Чтобы понять, мешает ли он посетителям, посмотрите, какие страницы на него ссылаются и нужен ли сам адрес. Универсальная команда «исправить все 404» без этого контекста может привести к ненужным редиректам.

Что доступно бесплатно

Бесплатная версия позволяет обойти до 500 URL за один обход. Для расширенных возможностей нужна платная лицензия: среди них сохранение и открытие обходов, JavaScript-рендеринг и ряд интеграций. Перед покупкой сверяйте актуальное сравнение версий на сайте разработчика. Само наличие отчёта по метатегам не означает, что для него обязательно нужен API-ключ.

Предел 500 URL важен при интерпретации результата. Если программа остановилась на нём, таблица описывает собранную часть, а не доказанно весь сайт. Не называйте количество строк количеством всех страниц проекта. Для небольшой разовой проверки начните с бесплатного режима; необходимость лицензии оценивайте по конкретной недостающей функции и объёму работ.

Как провести первый обход

1. Установите SEO Spider с официального сайта и откройте обычный режим обхода Spider.
2. Введите публичный адрес нужного сайта или раздела, проверьте протокол и хост, затем нажмите Start.
3. Дождитесь окончания обхода либо зафиксируйте причину остановки: лимит, ручная пауза, недоступность сайта.
4. Откройте Internal и выберите HTML, если задача касается обычных веб-страниц.
5. Проверьте вручную несколько строк: главную, услугу и страницу с найденной проблемой.

Запишите дату, стартовый адрес и существенные настройки рядом с выгрузкой. Для повторной проверки используйте тот же охват. Сравнение полного обхода одного раздела с частичным обходом всего домена не покажет надёжно, сколько проблем исчезло после правок.

Кейген: требования и работа из консоли

В README стороннего кейгена из архива screamingfrogseospider_keygen.rar указаны следующие требования и возможности:

• Для запуска в Windows требуется установленный .NET, в Linux и macOS требуется Mono.
• Генерируемый ключ рассчитан на 395 дней. По истечении этого срока его нужно обновить.
• При запуске из консоли переданный параметр используется как имя пользователя. Кейген генерирует ключ для этого имени и копирует результат в буфер обмена.

Это описание из комплекта кейгена; оно не подтверждает совместимость с текущей версией SEO Spider. У официальной лицензии другой заявленный срок: один год. Требования .NET и Mono здесь относятся к кейгену.

Файлы для скачивания

• Кейген с README (RAR, 13,4 КБ)
• Кейген v9.x (ZIP, 724 КБ)
• Установщик 14.2 (EXE, 465,2 МБ)
• Архив «17.2_fu11» (ZIP, 1,30 ГБ)

В большом ZIP есть NFO для 17.0 и установщики с именами 18.1 и 19.4. Версии в названиях файлов не подтверждают совместимость.

Какие столбцы читать вместе

В Internal собраны адрес, тип содержимого, HTTP-статус, индексируемость и извлечённые элементы страницы. Для метатегов обычно нужны Address, Status Code, Indexability, Title 1, Meta Description 1 и H1-1. Дополнительные столбцы с длиной или пиксельной шириной пригодятся только тогда, когда эти измерения действительно присутствуют в выгрузке.

Отметку Indexable читайте как техническую оценку доступности индексирования по данным краулера. Она не доказывает, что страница уже находится в Google. Причину Non-Indexable ищите рядом в Indexability Status: это может быть редирект, запрет, ошибка ответа или другой канонический адрес. Разбор этой разницы есть в материале об индексируемости.

Как передать результат на дальнейшую проверку

Экспорт верхней таблицы сохраняет текущую вкладку и текущий фильтр. Для проверки метатегов откройте Internal → HTML и нажмите Export. Не подменяйте такую выгрузку файлом только из вкладки пустых заголовков: в нём не будет полного контекста выбранной HTML-выборки. По шагам этот процесс разобран в инструкции по выгрузке.

Сохраните исходный файл отдельно от своих исправлений. В рабочей копии можно добавлять ответственного и плановый новый текст, но фактический статус ответа и отметку индексируемости оставляйте из обхода. Так разработчик или редактор сможет отличить обнаруженную проблему от предлагаемой правки и воспроизвести проверку.

Как выбирать исправления

Начните с важных страниц, которые неожиданно недоступны или исключены из индексируемой выборки. Затем переходите к пустым или одинаковым Title и Description. Каждое повторение проверяйте по назначению страниц: одинаковые названия разных услуг требуют другого решения, чем похожие заголовки страниц одной серии.

Предположим, две страницы услуг имеют один заголовок «Наши услуги». Это учебный пример, а не результат проверки конкретного сайта. Сначала сравните предложения и посадочные запросы. Если услуги действительно разные, предложите различимые названия. Если страницы дублируют одну услугу, простой заменой заголовка вопрос структуры не решается.

Почему данных может не хватать

Если нужный столбец отсутствует, проверьте настройки извлечения Page Details. Отключённое извлечение не означает, что соответствующего элемента нет на сайте. Отдельно учитывайте JavaScript: исходный ответ сервера и сформированная браузером страница могут различаться, а режим JavaScript-рендеринга относится к лицензируемым возможностям программы.

Когда браузер открывает сайт, а краулер получает ошибку, сохраните проблемный URL и статус, проверьте правила доступа и ограничения сервера. Не переписывайте результат на 200 вручную. После устранения причины повторите небольшой обход той же выборки; только новые наблюдения подтвердят, что доступ восстановился.

Что сохранить после проверки

• Исходную выгрузку с датой и описанием охвата.
• Список проверенных примеров и причины выбранных исправлений.
• Отдельные предлагаемые метатеги, без подмены исходных значений.
• Повторную выгрузку после публикации и сопоставление одинаковых URL.

Для оценки участия страниц в поиске дополните краулер данными Google Search Console или Яндекс Вебмастера. Эти источники отвечают на другой вопрос: что поисковая система знает о сайте. Их удобно сопоставлять по URL, сохраняя дату каждого источника.

Перед передачей выгрузки выберите контрольные примеры для исполнителя: один корректный URL, одну подтверждённую проблему и одну строку с недостатком данных. Для каждого коротко объясните, почему он включён в выборку. Это поможет заметить ошибку интерпретации ещё до массовой работы. Если после правки программа перестала показывать предупреждение, дополнительно откройте страницу: исчезновение отметки в таблице должно соответствовать понятному изменению на сайте.