Коротко: Screaming Frog SEO Spider — это десктопный краулер, который за раз сканирует до 500 URL в бесплатной версии и без ограничений в платной. Он находит битые ссылки, дубли H1, проблемы с заголовками и метатегами, ошибки редиректов и другие технические ошибки, влияющие на ранжирование. В статье — пошаговые инструкции по настройке и использованию.
Screaming Frog SEO Spider — это программа для технического аудита сайта, которая работает как поисковый робот: обходит страницы, собирает данные и показывает, где у вас проблемы. Она используется SEO-специалистами, маркетологами и владельцами сайтов, чтобы найти ошибки, которые мешают сайту ранжироваться в поисковых системах. В этой статье разберём, как установить программу, настроить сканирование и использовать её для анализа заголовков, метатегов, H1 и внутренних ссылок.
Установка и настройка программы
Скачать установщик можно с официального сайта — https://www.screamingfrog.co.uk. Для Windows есть exe-файл, для macOS — dmg, для Linux — deb и snap. После установки запустите программу — перед вами появится главное окно с пустым полем для ввода адреса. В бесплатной версии можно просканировать не более 500 URL. Этого достаточно для небольших сайтов, но для крупных проектов понадобится лицензия. Купить её можно на том же официальном сайте. После покупки вы получите screaming frog seo spider ключ — обычно он приходит на почту в течение нескольких минут.
Чтобы активировать полную версию, откройте меню Configuration → License, вставьте screaming frog seo spider лицензионный ключ и нажмите Activate. После этого ограничение на 500 URL исчезнет. Не пытайтесь искать в интернете screaming frog seo spider crack или screaming frog seo spider keygen — такие файлы содержат вредоносный код и не дадут полноценной работы. Проще купить лицензию, тем более что есть скидки для команд и годовая подписка.
Перед сканированием настройте агента пользователя: Configuration → User-Agent. Можно выбрать Googlebot, Яндекс.Бот или задать своего. Если сайт требует авторизации, укажите логин и пароль в разделе Authentication — программа сохранит куки и сможет сканировать закрытые разделы. Также стоит настроить скорость: в Spider → Speed так можно снизить частоту запросов, чтобы не перегрузить сервер.
Фильтрация страниц по типу
После завершения сканирования все найденные URL отображаются в таблице. Чтобы быстро ориентироваться, используйте фильтры в верхней части окна. Например, можно оставить только HTML-страницы, убрав картинки, CSS и JS. Это удобно, когда нужно смотреть именно на документы, которые индексируются. Некоторые новички ищут “seo frog screaming spider” с переставленными словами, но правильное название программы — Screaming Frog SEO Spider.
Фильтры работают и по кодам ответа: выберите код 404, 301 или 500, чтобы увидеть только проблемные URL. Вкладка Response Codes показывает распределение кодов. Кликните на любой код — и программа отфильтрует соответствующие страницы. Так вы быстро найдёте битые ссылки и редиректы.
Для комплексного анализа используйте сочетание фильтров. Например: оставьте только HTML с кодом 200 и отсутствием индексации. Для этого добавьте пользовательский фильтр по столбцу Indexability. Подробнее об этом — в разделе «Работа с пользовательскими столбцами».
Анализ заголовков и метатегов
Во вкладке Page Titles вы увидите все заголовки Title. Сразу бросаются в глаза пустые поля, дубли и слишком длинные заголовки. Рекомендуемая длина Title — от 50 до 60 символов, чтобы он не обрезался в поисковой выдаче. Аналогично вкладка Meta Description показывает описания. Если description отсутствует или дублируется — это минус для CTR.
Программа подсвечивает проблемные места: слишком длинные строки выделяются красным, отсутствующие — серым. Сортируйте таблицу по столбцу “Words in Title” или “Characters”, чтобы найти переоптимизированные заголовки. Для экспорта данных используйте кнопку Export — позже разберём её подробнее.
С помощью фильтров можно отобразить только страницы с отсутствующим Title или Description. Для этого в раскрывающемся списке выберите “Contains” и оставьте пустое значение. Так вы получите список для работы.
Выявление дублей H1
Вкладка H1 показывает заголовки страниц. Дубли H1 — когда на разных URL используется один и тот же заголовок — путают поисковики и понижают релевантность. Отсортируйте таблицу по столбцу H1, найдите одинаковые значения. Например, если на 10 страницах H1 «Контакты» — это проблема.
Чтобы исправить, для каждой из дублирующихся страниц нужно составить уникальный H1, отражающий её содержание. Это базовая работа по SEO-оптимизации — о том, как правильно подбирать LSI-слова, читайте в статье Что такое LSI и зачем оно нужно в SEO.
Проверка внутренних ссылок
Вкладка Inlinks показывает, сколько внутренних ссылок ведёт на страницу. Битые ссылки — когда на URL ведёт ссылка, а он возвращает 404 — можно найти во вкладке Response Codes. Перейдите в раздел Outlinks, чтобы увидеть все ссылки со страницы.
frog seo spider помогает выявить цепочки редиректов: например, если /page1 редиректит на /page2, а тот — на /page3. Длинные цепочки тормозят загрузку и теряют вес. Чтобы увидеть их, настройте фильтр во вкладке Redirect Chains. Также можно проверить, есть ли ссылки на внешние ресурсы с атрибутом nofollow. Это пригодится для анализа ссылочной массы.
Для больших сайтов удобно использовать фильтр “Indexability” — он покажет, какие страницы закрыты от индексации через robots.txt или мета-теги. Полезно проверить, не заблокированы ли важные разделы случайно.
Работа с пользовательскими столбцами
Screaming Frog позволяет добавлять собственные столбцы для данных, которых нет в стандартном наборе. Например, вы хотите проверить, есть ли на каждой странице определённый блок с микроразметкой Schema.org. Откройте Configuration → Custom Extraction, выберите XPath или регулярное выражение.
Допустим, вы хотите найти все страницы без тега
. Создайте правило: в поле XPath введите //h1, а в качестве действия выберите “Extract”. После перезапуска сканирования новый столбец покажет, есть ли H1 на каждой странице. Аналогично можно извлекать длину контента, наличие изображений и другие параметры.
Пользовательские столбцы полезны для автоматизации регулярных аудитов. Например, вы задаёте проверку на наличие определённого скрипта или класса в HTML. Это экономит часы ручного анализа.
Экспорт и визуализация данных
После сканирования результаты можно выгрузить в Excel, CSV или Google Sheets. Используйте меню Export → Export Report. Для автоматической отправки данных в Looker Studio (бывший Data Studio) есть встроенная интеграция с Google Sheets. Экспорт данных из Screaming Frog часто используют для создания отчётов для клиентов.
Визуализация связей — вкладка Site Visualisation — показывает дерево сайта. Синим отмечены обычные страницы, красным — ошибки 404, оранжевым — редиректы. Удобно быстро оценить структуру. Кликните на узел — программа покажет входящие и исходящие ссылки.
Если нужно сканировать несколько сайтов автоматически, используйте функцию Scheduled Crawls в платной версии. Она позволяет запускать проверку по расписанию и отправлять отчёт на почту. Это незаменимо для регулярного мониторинга технического состояния.
Коротко о главном
Screaming Frog SEO Spider — мощный инструмент технического аудита. Он находит битые ссылки, дубли H1, проблемы с метатегами, редиректы и ошибки в структуре сайта. Бесплатная версия подходит для небольших сайтов, для крупных проектов нужна лицензия. Главные правила: настраивайте агента пользователя, используйте фильтры для сужения выборки, регулярно обновляйте данные. Если нужна помощь в SEO-аудите — свяжитесь с нами: напишите в Telegram.