Можно ли закрыть весь /bitrix/?

Можно ограничить служебные адреса, но разрешите CSS, JS и изображения, нужные для отрисовки публичных страниц.

Нужен ли Host в robots.txt?

Нет. Яндекс отказался от этой директивы для выбора главного зеркала в 2018 году. Настройте постраничные 301 редиректы.

Работает ли Clean-param в Google?

Нет. Это директива Яндекса. Для Google используйте корректные URL и canonical.

Стоит ли закрывать PAGEN_?

По умолчанию нет: это может помешать обнаружению товаров на следующих страницах каталога.

Скачивает ли проверка файл с моего сайта?

Нет. Вы вставляете текст вручную, проверка выполняется только в браузере.

Гарантирует ли проверка одинаковое поведение всех роботов?

Нет. Она показывает распространённые правила и предупреждения. Итоговую обработку проверяйте инструментами конкретного поисковика.

Pugofka / Tools / SEO

robots.txt для 1С-Битрикс: генератор и проверка

Создайте robots.txt для Битрикса и проверьте правила, секции, ресурсы отрисовки и доступность адресов для роботов.

Генератор robots.txt

Домен для Sitemap

Необязательно. Укажите домен без пути; адрес sitemap появится в файле.

Служебные разделыЗакрыть /bitrix/, личный кабинет, авторизацию и поиск.Служебные параметрыЗакрыть адреса с print, login, logout, backurl, clear_cache и другими параметрами.Ресурсы отрисовкиРазрешить CSS, JS, изображения в /bitrix/ и /local/, а также /upload/.Clean-param для метокЯндекс сможет объединять дубли с UTM и рекламными параметрами.Закрыть PAGEN_Обычно не нужно: поисковики могут перестать находить товары на следующих страницах. Проверьте canonical.Закрыть сортировки и фильтрыМожет скрыть нужные страницы фильтров. Включайте после анализа индексации.Отдельная секция YandexОбщие правила будут повторены: Яндекс не объединяет отдельную секцию с User-agent: *.

User-agent: *
Disallow: /bitrix/
Disallow: /auth/
Disallow: /personal/
Disallow: /search/
Disallow: /*?print=
Disallow: /*&print=
Disallow: /*?register=
Disallow: /*&register=
Disallow: /*?forgot_password=
Disallow: /*&forgot_password=
Disallow: /*?change_password=
Disallow: /*&change_password=
Disallow: /*?login=
Disallow: /*&login=
Disallow: /*?logout=
Disallow: /*&logout=
Disallow: /*?backurl=
Disallow: /*&backurl=
Disallow: /*?back_url=
Disallow: /*&back_url=
Disallow: /*?action=
Disallow: /*&action=
Disallow: /*?bitrix_*=
Disallow: /*&bitrix_*=
Disallow: /*?clear_cache=
Disallow: /*&clear_cache=
Allow: /bitrix/*.css
Allow: /bitrix/*.js
Allow: /local/*.css
Allow: /local/*.js
Allow: /bitrix/*.png
Allow: /local/*.png
Allow: /bitrix/*.jpg
Allow: /local/*.jpg
Allow: /bitrix/*.jpeg
Allow: /local/*.jpeg
Allow: /bitrix/*.gif
Allow: /local/*.gif
Allow: /bitrix/*.webp
Allow: /local/*.webp
Allow: /bitrix/*.svg
Allow: /local/*.svg
Allow: /bitrix/*.avif
Allow: /local/*.avif
Allow: /bitrix/*.ico
Allow: /local/*.ico
Allow: /upload/

Clean-param: utm_source&utm_medium&utm_campaign&utm_content&utm_term&yclid&gclid&fbclid&openstat&from

Проверка своего robots.txt

Вставьте файл вручную. Проверка работает в браузере: файл не отправляется на сервер. Результат справочный; поисковики могут трактовать нестандартные правила по-разному.

Текст robots.txt

Предупреждения: 0

Предупреждений не найдено.

Проверить путь или URL

Разрешён

Подходящего правила нет

Googlebot

Разрешён

Подходящего правила нет

Yandex

Разрешён

Подходящего правила нет

Правильный robots.txt для Битрикса в 2026 году

Начните с реальных адресов сайта: версии 1С-Битрикс и настройки проекта различаются. Обычно закрывают служебные разделы и параметры, а открывают ресурсы, необходимые для отрисовки страниц. Для каждого служебного параметра генератор создаёт два правила: после ? и после &, чтобы параметр закрывался и в начале, и дальше в запросе. Генератор предлагает отправную точку, которую нужно проверить на своём сайте.

Разместите файл в корне домена по адресу /robots.txt, сохраните в UTF-8 без BOM и проверьте результат в Яндекс Вебмастере и Google Search Console. Для карты сайта используйте абсолютный URL в Sitemap:.

Почему нельзя закрывать CSS и JS

Поисковые системы загружают ресурсы для отрисовки страницы. Если закрыть /bitrix/ целиком и не разрешить вложенные CSS, JavaScript и изображения, робот может увидеть страницу иначе, чем посетитель. Добавьте точные правила Allow для нужных ресурсов.

Разрешение /upload/ помогает открыть загружаемые изображения. При этом правила robots.txt управляют обходом, а не защищают приватные файлы: для закрытых данных нужны авторизация и настройки сервера.

Clean-param против дублей с UTM-метками

Директива Clean-param сообщает Яндексу, какие параметры не меняют содержимое страницы. Формат: Clean-param: p1&p2 [путь]. Если путь опущен, правило применяется ко всему сайту. Директива межсекционная: она может стоять после групп User-agent.

Указывайте только параметры, которые действительно не меняют контент. Метки UTM и рекламные идентификаторы часто подходят; параметры фильтра или пагинации могут менять список товаров. Google не поддерживает Clean-param, поэтому для него важны корректные canonical и структура URL.

Устаревшие директивы: Host и Crawl-delay

Яндекс отказался от Host для выбора главного зеркала в 2018 году: используйте постраничные 301 редиректы и инструмент переезда в Вебмастере. Crawl-delay Яндекс не учитывает с февраля 2018 года; Google тоже не поддерживает его в robots.txt.

Не закрывайте пагинацию PAGEN_ автоматически: роботы могут перестать находить товары дальше первой страницы. Закрытие сортировки и фильтров тоже зависит от того, какие страницы должны участвовать в поиске.

Частые вопросы

Можно ли закрыть весь /bitrix/?: Можно ограничить служебные адреса, но разрешите CSS, JS и изображения, нужные для отрисовки публичных страниц.
Нужен ли Host в robots.txt?: Нет. Яндекс отказался от этой директивы для выбора главного зеркала в 2018 году. Настройте постраничные 301 редиректы.
Работает ли Clean-param в Google?: Нет. Это директива Яндекса. Для Google используйте корректные URL и canonical.
Стоит ли закрывать PAGEN_?: По умолчанию нет: это может помешать обнаружению товаров на следующих страницах каталога.
Скачивает ли проверка файл с моего сайта?: Нет. Вы вставляете текст вручную, проверка выполняется только в браузере.
Гарантирует ли проверка одинаковое поведение всех роботов?: Нет. Она показывает распространённые правила и предупреждения. Итоговую обработку проверяйте инструментами конкретного поисковика.

По теме

Проверка редиректовПроверьте переходы между основными и дополнительными адресами сайта.Поддержка сайтаПоможем настроить индексацию и техническую часть Битрикса.

Нужна помощь с сайтом?

Поможем разобраться с технической задачей и оценить её решение.