Коротко: Чтобы закрыть сайт от индексации robots txt используется как основной инструмент — файл в корне домена с директивами Disallow. Полный запрет пишется как «User-agent: *» и «Disallow: /». Точечный запрет — по конкретным путям. Учтите: robots.txt запрещает обход, но уже попавшие в индекс страницы сам по себе не удаляет.
Инструкция ниже объясняет, как закрыть сайт от индексации в robots txt без типичных ошибок — с блокировкой всех ботов, отдельных разделов и с проверкой через вебмастерские отчёты. Покажу синтаксис, который реально работает в Яндексе и Google, и расскажу, где чаще всего ломается.
Создание файла robots.txt
Robots.txt — это обычный текстовый файл в кодировке UTF-8 без BOM, который размещается в корне домена: https://site.ru/robots.txt. Он работает как пропускной пункт: поисковый робот сначала читает файл, а потом решает, куда ему идти. Если ответить на вопрос, как сделать robots txt для сайта, коротко — это создать пустой текстовый документ, положить в корневую папку рядом с index.php и заполнить директивами.
Базовые директивы
Любой файл строится из двух типов инструкций. User-agent задаёт, к какому боту относится правило, а Disallow указывает запрещённые пути. Дополнительно можно использовать Allow, Sitemap и Crawl-delay.
- User-agent — имя бота:
*для всех,YandexиGooglebotдля конкретных. - Disallow — путь от корня, который нужно закрыть от обхода.
- Allow — исключение из запрета: например, разрешить один файл внутри закрытой папки.
- Sitemap — абсолютный адрес карты сайта для ускорения индексации.
Как создать robots txt: пошаговый порядок
- Откройте корень домена — там, где лежат index.php и sitemap.xml.
- Создайте текстовый файл с именем
robots.txt— без заглавных букв и без расширений вида .txt.txt. - Заполните директивы — начните с общей секции для всех ботов.
- Сохраните в UTF-8 — без BOM, иначе первая строка может не распознаться.
- Загрузите на сервер в корень и откройте в браузере по адресу
site.ru/robots.txt— файл должен отдаваться как plain text.
По данным Google Search Central (2026), робот Googlebot скачивает robots.txt не чаще одного раза в сутки на домен. Правки вступают в силу не мгновенно, а после следующей загрузки файла.
Запрет доступа для всех роботов
Когда нужно понять, как запретить индексацию сайта в robots txt всего сайта, применяют две строки. Это самый радикальный сценарий — полностью перекрывает обход всех страниц всеми ботами.
User-agent: *
Disallow: /Такая запись означает: любому боту запрещено заходить на любой URL, начинающийся с «/». Именно две отдельные строки, а не одна фраза. Символ «/» после двоеточия — не точка, не пустая строка и не звёздочка. Пустой Disallow: наоборот разрешает всё — эта путаница встречается в половине чужих файлов, которые я разбирал.
Полный запрет стоит ставить в трёх случаях: тестовый домен, staging-версия или сайт на этапе разработки, а также при подготовке к скорому закрытию бизнеса. Для рабочего проекта это почти всегда ошибка — трафик уйдёт, а вернуть его быстрее не получится.
Если нужно закрыть сайт только от одного бота — например, от Bing, но не от Яндекса, — перечисляйте его отдельно:
User-agent: Bingbot
Disallow: /
User-agent: *
Disallow: /admin/
Disallow: /searchТакая конструкция сначала применяет правило к Bingbot, а потом — ко всем остальным уже с точечными запретами. Учтите: порядок секций не важен, а вот конфликты между Disallow и Allow внутри одной секции робот решает по длине пути — побеждает более длинное правило.
Исключение отдельных разделов
Когда возникает задача, как закрыть от индексации страницу в robots, обычно речь о служебных и технических URL: корзина, личный кабинет, поиск по сайту, страницы пагинации, фильтры, UTM-метки. Их запрещают целиком или по маске.
Есть важный нюанс: robots.txt управляет только обходом. Если страница уже в индексе, директива Disallow её не уберёт — робот перестанет её видеть и не обновит содержимое. Сначала уберите страницу из индекса через мета-тег noindex или заголовок X-Robots-Tag, и только после её исчезновения из выдачи ставьте запрет в robots.txt. Иначе получите классический конфликт: страница старая, но проиндексированная, а переобход заблокирован.
| Задача | Директива в robots.txt | Дополнительная мера |
|---|---|---|
| Закрыть всю папку /admin/ | Disallow: /admin/ | Защита паролем |
| Закрыть параметрические URL | Disallow: /*?* | Настроить ЧПУ |
| Закрыть страницы поиска | Disallow: /search | noindex на шаблоне |
| Закрыть корзину и оформление | Disallow: /cart/ | noindex |
| Закрыть один файл | Disallow: /price.pdf | — |
Если нужно оставить индексируемой саму страницу, но запретить превью в поиске — используют не Disallow, а X-Robots-Tag: noimageindex. Это частая просьба клиентов: «не закрывайте страницу, но не показывайте картинки». Директива robots txt закрыть от индексации здесь не сработает — она выкинет из индекса весь URL, а не отдельную часть.
Регулярное выражение в Disallow — простая маска: * означает любую последовательность символов, $ — конец URL. Синтаксис поддерживают и Яндекс, и Google, но короткие маски читаются роботом однозначнее. Из практики: чем проще маска, тем меньше риск её неверного разбора.
Проверка через вебмастерские инструменты
После публикации файла обязательно проверьте, как его прочитают роботы. Ошибка в одной букве пути закрывает не тот раздел, а вы об этом узнаёте через месяц, когда проседает трафик.
- Яндекс Вебмастер — раздел «Инструменты» → «Анализ robots.txt». Введите URL конкретной страницы и посмотрите вердикт:allowed или prohibited.
- Google Search Console — отчёт «Проверка robots.txt». Показывает итоговый файл и подсказывает, если робот увидел конфликты.
- Прямая проверка в браузере — откройте
site.ru/robots.txtв режиме инкогнито. Формат должен быть text/plain, содержимое — без автозамен и вставок HTML. - Онлайн-валидаторы — сервисы вроде технических чекеров корректности синтаксиса. Подходят как быстрая проверка, но не заменяют отчёты из вебмастеров.
Обязательно перепроверьте файл после правки. Роботы читают его асинхронно, поэтому визуально «всё сохранилось» не значит, что это уже применилось. В Яндекс Вебмастере можно запросить переобход файла — обычно это ускоряет реакцию до 6-12 часов.
Если вы параллельно работаете над видимостью в поиске, полезно представлять контекст — какие запросы вообще ищут пользователи. Как это делается через официальные инструменты, разбираем в статье про количество запросов в Яндексе по ключевым словам. А если сравниваете поведение робота в разных отчётах, поможет материал про то, почему не работает Вордстат при частых запросах.
Частые ошибки в настройке
Даже когда базовый синтаксис понятен, SEO-специалисты и владельцы сайтов регулярно наступают на одни и те же грабли. Ниже — список ситуаций, которые чаще всего приводят к тому, что закрыть от индексации в robots txt не получается или получается не тот фрагмент.
- Закрывают страницу, которая уже в индексе. Robots.txt не удаляет URL из выдачи. Сначала noindex, потом — Disallow.
- Путают Disallow и Noindex. Noindex живёт в HTML или HTTP-заголовках, Disallow — в robots.txt. Это разные механизмы с разным эффектом.
- Ставят точку в конце пути.
Disallow: /admin/.— робот воспримет точку как часть пути и не закроет ничего. - Закрывают CSS и JS. Google не сможет корректно оценить вёрстку страницы. Закрывайте только если точно понимаете, зачем.
- Забывают про директиву Clean-param. Для УТМ-меток и параметров сортировки файл лучше дополнять именно ей — она эффективнее Disallow.
- Копируют чужой шаблон. Синтаксис верный, а пути не совпадают. В итоге ваши реальные технические разделы остаются открытыми.
- Не указывают Sitemap. Директива Sitemap в robots.txt помогает быстрее обнаружить актуальные страницы, особенно новые.
- Запрещают вложенную папку слишком широко.
Disallow: /blog/закроет всё вместе с материалами, которые должны индексироваться.
Отдельно про коммерческие страницы. Если закрыть от индексации раздел услуг, категорию каталога или посадочную под рекламу — они исчезнут из органики и не будут получать трафик. Перед публикацией файла прогоните список запрещённых путей через стратегию повышения позиций сайта и убедитесь, что под запрет не попал кусок, от которого зависит видимость в поиске.