Коротко: robots.txt — это файл, который управляет доступом поисковых роботов к разделам сайта. Если настроить его неверно, можно случайно закрыть от индексации значимые страницы или открыть служебные дубли. Разбираем, что писать в файл, как избежать типовых ошибок и где смотреть результат.
Если вы когда‑нибудь замечали, что часть страниц сайта не попадает в поисковую выдачу, хотя контент на них уникальный и полезный — присмотритесь к файлу robots txt. Маленький текстовый документ весом в пару килобайт способен решить судьбу целых разделов. Многие владельцы ставят его один раз и забывают, а потом удивляются падению позиций. Разберёмся, как на самом деле работает этот инструмент и какие подводные камни он скрывает.
Какие задачи решает robots.txt
robots txt это специальный файл с инструкциями для поисковых ботов. Он подсказывает им, какие разделы стоит обходить и индексировать, а какие закрыть, чтобы не засорять выдачу дублями или техническими страницами. Например, корзина интернет‑магазина, фильтры и страницы поиска не нужны в поиске — они создают массу мусорных URL и снижают краулинговый бюджет. А вот страницы товаров и категорий обязательно должны быть открыты для робота.
Но главная особенность robots.txt в том, что это не команда, а скорее вежливая просьба. Поисковики могут её проигнорировать, если у вас слишком агрессивные правила или если они решают, что доступ необходим для обнаружения нового контента. Именно поэтому нельзя полагаться только на robots.txt для защиты конфиденциальных данных — для этого есть пароли и мета‑тег noindex. Если правильно составить robots txt для сайта, вы дадите роботу чёткую карту обхода, а себе — предсказуемое поведение поисковиков.
Как устроен robots.txt: директивы и правила
В основе любого файла robots.txt лежат директивы — команды для роботов. Главная из них — Disallow, которая запрещает доступ к указанному пути. Например, директива robots txt disallow закрывает от индексации раздел с личным кабинетом или административной панелью. Противоположная директива Allow разрешает доступ, но её используют реже — обычно для того, чтобы открыть конкретный файл внутри закрытой папки.
| Директива | Назначение | Пример |
|---|---|---|
| User-agent | Определяет, к какому боту относится правило | User-agent: Googlebot |
| Disallow | Запрещает индексацию определённых URL | Disallow: /admin/ |
| Allow | Разрешает индексацию, даже если родительская папка закрыта | Allow: /public/ |
| Sitemap | Указывает на файл карты сайта | Sitemap: https://site.ru/sitemap.xml |
| Crawl-delay | Задаёт паузу между запросами робота (не всеми поддерживается) | Crawl-delay: 5 |
| Clean-param | Исключает параметры из URL (для Яндекса) | Clean-param: utm_source |
Типичные ошибки, которые роняют трафик
Чаще всего проблемы возникают из‑за невнимательности или копирования чужих шаблонов. Некоторые ставят знак звёздочки в неправильное место, другие закрывают сразу весь сайт, забывая вернуть доступ для главной. Классическая ошибка — закрыть папку /css/, но забыть, что робот должен видеть стили, чтобы корректно отрисовать страницу, правда на ранжирование это почти не влияет. А вот закрытие раздела с товарами или статьями приводит к мгновенной потере трафика.
Опасны также конфликты директив. Если одновременно написать и Allow, и Disallow для одного пути, поисковик выберет более специфичное правило, но поведение Яндекса и Google может отличаться. Поэтому лучше не экспериментировать, а строить логику по принципу «сначала запретить всю папку, затем точечно разрешить нужное». И не забывайте про регистр символов: /Catalog и /catalog — это разные пути. Русские буквы тоже лучше транслитерировать, чтобы робот правильно интерпретировал адреса.
Важно понимать: даже если вы поставите правила правильно, это не гарантирует мгновенного переобхода всех страниц. Индексация — процесс постепенный. Но при грамотно настроенном файле роботы не тратят время на лишние страницы и быстрее находят новые. Если вы хотите ускорить индексацию, обратите внимание не только на robots.txt, но и на корректность sitemap. Подробнее о типовых проблемах с картами сайта мы уже писали в статье про 5 ошибок в sitemap, которые замедляют индексацию.
robots.txt для распространённых CMS
Каждая CMS имеет свои служебные папки, которые лучше закрыть от роботов. Мы разберём две самые популярные в России системы — WordPress и 1С‑Битрикс, потому что на них работает большинство коммерческих сайтов. Универсального решения не существует, нужен индивидуальный подход, но базовые принципы одинаковы.
Настройка robots.txt для WordPress
Обычно для WordPress требуется закрыть от индексации служебные системные папки: /wp-admin/, /wp-includes/, /wp-json/, а также страницы авторизации. Однако robots txt для wordpress не должен полностью блокировать CSS‑файлы и скрипты, если те используются для адаптивной вёрстки. Частая рекомендация — закрывать архивные страницы тегов и авторов, если они не представляют ценности. Удобнее всего использовать готовые SEO‑плагины, например Yoast SEO или Rank Math — они автоматически генерируют оптимальный файл под вашу структуру.
Пример настройки для Bitrix
Сайты на Битриксе имеют сложную структуру с огромным количеством технических страниц: /bitrix/, /upload/, /local/ и так далее. robots txt для битрикс обязательно исключает папку /bitrix/admin/ и служебные скрипты, но при этом открывает страницы каталога и торговые предложения. При разработке интернет‑магазина важно также закрыть страницы сортировки и фильтрации, чтобы избежать появления бесконечных дублей. Поскольку Битрикс генерирует много мусорных URL, позволяет точечно задать параметры исключения через Clean-param.
Как выполнить проверку robots.txt
Настроить файл — полдела. Необходимо убедиться, что поисковой робот видит его в правильном виде. Существует несколько инструментов для проверки robots txt. Самый простой способ — открыть в браузере адрес https://site.ru/robots.txt и визуально оценить содержимое. Далее нужно протестировать правила в Яндекс.Вебмастере и Google Search Console. В Вебмастере есть специальный инструмент «Анализ robots.txt», который показывает, какие страницы закрыты и почему. В Google также есть «Проверка URL» — она позволяет посмотреть, как робот Google видит содержимое страницы с учётом файла robots.txt.
Помимо вебмастеров, сторонние сервисы предлагают массовые проверки, например Screaming Frog и онлайн‑анализаторы. Они могут показать, какие директивы перекрывают друг друга, насколько длинные и противоречивые правила. Обращайте внимание на размер файла — он не должен превышать 500 КБ. Также проверьте, что в нём нет опечаток: лишний пробел или пропущенный слэш часто полностью меняют смысл команды.
Коротко о главном
Если вы не уверены, что ваши файлы настроены корректно, специалисты агентства помогут провести аудит и внести необходимые изменения. Это часть комплексного продвижения — как и работа над скоростью сайта и ссылочным профилем. Подробнее о том, что включает в себя создание сайта с продвижением, читайте в статье Сайт под ключ с продвижением.