Коротко: Краулинг — этап, на котором поисковый робот скачивает страницы сайта для последующей индексации. От частоты и глубины таких заходов зависит, как быстро новый контент попадёт в выдачу. Если робот ходит редко или натыкается на ошибки, страницы простаивают неделями.
Поисковые системы узнают о новой странице только в момент её посещения роботом. Никакие тексты, ссылки и микроразметка не работают, пока этого не произошло — для выдачи страница просто не существует. Краулинг определяет, когда это знакомство случится: через час, день или месяц. Ниже разберу механику обхода, факторы, влияющие на его частоту, и типичные ошибки, из-за которых страницы остаются за пределами индекса.
Что такое краулинг
Краулинг это автоматизированный обход веб-страниц поисковым роботом: он скачивает HTML-документы на серверы поисковой системы и вытаскивает из них ссылки для дальнейшего движения. На этом этапе оценка качества не проводится — только сбор данных. Решение о показе в выдаче принимает индексатор, работающий с уже загруженной копией.
Скорость заходов робота регулирует сама поисковая система. Наверняка вы видели в Яндекс.Вебмастере или Google Search Console показатель crawl rate — это количество запросов на обход в секунду. Поисковик корректирует его в зависимости от того, как быстро отвечает сервер и сколько полезных URL находит на сайте.
Чем краулинг отличается от индексации и ранжирования
Три этапа часто путают, хотя между ними принципиальная разница. Пока робот не скачал страницу, ни о какой индексации речи не идёт — сначала данные, потом их обработка. Вот как это выглядит по шагам:
| Этап | Что делает поисковая система | Результат |
|---|---|---|
| Краулинг | Скачивает HTML, извлекает ссылки, ставит в очередь на обход | Поиск знает о существовании страницы |
| Индексация | Анализирует содержимое, строит поисковый индекс | Страница готова к показу |
| Ранжирование | Сравнивает с конкурентами по конкретному запросу | Страница занимает позицию |
Как роботы обходят сайты
Стартовые точки обхода поисковый робот берёт из нескольких источников: карты сайта sitemap.xml, уже просканированных страниц с исходящими ссылками и внешних ресурсов, которые ссылаются на ваш домен. Дальше он открывает каждую новую ссылку и повторяет процедуру — так формируется очередь обхода.
Авторитетные домены получают заметно больше заходов в сутки, чем новые. Googlebot для крупного интернет-магазина проводит десятки тысяч запросов за день, а сайт-новичок нередко довольствуется парой сотен. Это не «наказание» со стороны поиска — так работает распределение ресурсов: у поисковых систем ограниченная вычислительная мощность, и её тратят туда, где ожидается отдача. Как повысить позиции сайта в Яндексе без штрафов — отдельный материал, но частота обхода лежит в основе: чем больше доверия к домену, тем чаще он попадает в поле зрения робота.
Бюджет краулинга — что это и как считается
Бюджет краулинга (crawl budget) — количество запросов, которое поисковик готов потратить на конкретный сайт за единицу времени. Он складывается из двух величин: crawl rate limit (сколько сайт способен выдержать без перегрузки) и crawl demand (насколько часто робот сам желает заходить на страницу).
| Параметр | Что означает |
|---|---|
| Crawl rate limit | Максимум запросов в секунду, который выдерживает сервер без роста времени отклика |
| Crawl demand | Насколько страница нужна поиску — зависит от свежести, внешних ссылок, спроса аудитории |
| Host load | Текущая нагрузка на сервер, которую фиксирует робот при заходе |
Если сайт отвечает медленно или отдаёт 5xx-ошибки, робот снижает частоту заходов — так он защищает и ваш сервер, и свою инфраструктуру. Обратная ситуация тоже бывает: при быстром отклике и стабильном свежем контенте бюджет увеличивается автоматически.
Факторы, влияющие на частоту
Частота обходов у каждого сайта своя и меняется со временем. Алгоритмы Google и Яндекса учитывают десятки сигналов, и часть из них лежит на стороне владельца ресурса — значит, на них можно влиять. Ниже — ключевые, отсортированные по убыванию влияния.
- Доверие домена — сайты с историей, качественными обратными ссылками и стабильным трафиком робот обходит чаще.
- Свежесть контента — если новые страницы появляются регулярно, робот приходит чаще: он ожидает увидеть что-то новое.
- Скорость отклика сервера — сервер с временем ответа 200-400 мс для робота «дешевле», чем сервер с откликом 2-3 секунды.
- Внутренние ссылки — страница, на которую ведут ссылки с главной и разделов, получает приоритет в очереди обхода.
- Обновления существующих страниц — если материал переписан и дата в sitemap обновилась, частота заходов растёт.
- Внешние ссылки на конкретный URL — чем больше качественных источников ссылается на страницу, тем активнее ей интересуется робот.
В англоязычном SEO-сообществе паука иногда в шутку называют «мистер краулинг» — персонификация помогает понять логику его поведения. Робот осторожен с «медленными» сайтами и охотно возвращается туда, где всегда получает свежий и быстро отдаваемый контент. Никаких секретов в этом нет: алгоритм учитывает те же параметры, что и любой аналитик, оценивающий ресурс.
По данным Google (2025), для сайтов с активной публикацией новых материалов и корректно настроенным sitemap среднее время до первого сканирования страницы сокращается с нескольких дней до нескольких часов.
Как именно эти факторы влияют на итоговые позиции, подробно разобрано в материале о SEO-продвижении в Google под ключ: там же — пошаговый план работ для проектов с разным уровнем конкуренции.
Роль sitemap и robots.txt
Sitemap и robots.txt делают разные вещи, и путать их не стоит. Первый — карта для поиска: он подсказывает, какие URL важны и когда они обновлялись. Второй — правила поведения: что можно скачивать, а что запрещено. Оба файла напрямую влияют на то, как робот распределяет бюджет краулинга.
Sitemap.xml — навигация для робота
Файл sitemap.xml ускоряет обнаружение новых страниц. Внутри — список URL с датой последнего изменения. Если страница уже в sitemap и дата обновилась, робот получает сигнал: стоит зайти повторно. Для крупных сайтов используют sitemap-индекс из нескольких файлов, разбитых по типам контента.
Robots.txt — фильтр доступа
Robots.txt управляет доступом: через директивы Disallow и Allow можно запретить обход целых разделов, отдельных URL или всей админки. Неправильная конфигурация — одна из самых частых причин, почему нужные страницы не попадают в индекс. Как проверить файл и не отрезать лишнее, рассказываем в отдельной инструкции — как правильно закрыть сайт от индексации robots txt.
Ещё один важный момент — сочетание директив. Robots.txt запрещает скачивание, а noindex в мета-тегах — добавление в индекс. Если закрыть страницу и там, и там, робот не увидит noindex и может всё равно попытаться проиндексировать URL, потому что узнает о нём из внешних ссылок. В таких случаях используют только один способ блокировки.
Ошибки, мешающие сканированию
Даже при идеальном контенте робот может обходить сайт крайне редко. Причина обычно техническая, и её стоит устранять в первую очередь. Вот пять типов ошибок, которые чаще всего встречаются в нашей практике:
- Сервер отвечает 5xx — поисковик снижает частоту запросов и может отключить обход раздела целиком, пока ошибки не исчезнут.
- Основной контент рендерится через JavaScript — робот скачивает HTML, а текста в нём нет. Google умеет рендерить JS, но с задержкой; для Яндекса такие страницы часто остаются пустыми.
- Robots.txt блокирует важные разделы — например, из-за случайного Disallow на /catalog/ или /blog/. Проверяйте файл после каждого изменения структуры.
- Дубли и «мусорные» URL — фильтры, параметры сортировки, пагинация. Робот тратит бюджет на них, а на реальные страницы ресурсов не остаётся.
- Медленный сервер или тяжёлые скрипты — время отклика свыше 2 секунд заставляет робота уйти раньше и вернуться позже.
Диагностика занимает немного времени. В Яндекс.Вебмастере смотрите отчёт «Страницы в поиске» и раздел «Обход сайта роботом», в Google Search Console — Crawl Stats. Там видно, сколько запросов в день делает робот, какие URL скачивает, а какие игнорирует. Если показатели резко падают без изменений на сайте — скорее всего дело в хостинге или в ошибках конфигурации.
Коротко о главном
Краулинг — первый этап работы поиска с вашим сайтом, и от него зависит всё остальное. Быстрые сервера, свежий sitemap, понятная структура ссылок и чистый robots.txt дают роботу зелёный свет: он заходит часто, находит новое и обновляет индекс. Если по этим пунктам есть слабые места, никакие тексты и внешние ссылки не помогут — сначала обход, потом продвижение. Проверяйте Crawl Stats в обеих поисковых системах хотя бы раз в месяц: это самый быстрый способ заметить проблему до того, как она ударит по позициям.