Easy Converter

Генератор robots.txt

Сгенерируйте идеальный robots.txt за минуту: правила для Googlebot, Yandex, Bingbot, ссылка на sitemap, разрешения и запреты — с визуальной проверкой синтаксиса.

Как пользоваться

  1. 1

    Выберите шаблон

    Открытый сайт, блокировка staging, селективный доступ — готовые пресеты.

  2. 2

    Настройте правила

    Добавьте User-agent, пути Allow/Disallow и URL карты сайта.

  3. 3

    Скачайте robots.txt

    Положите файл в корень сайта по адресу /robots.txt.

Технические детали

robots.txt — текстовый файл в корне домена, который сообщает поисковым роботам, какие разделы можно индексировать, а какие нет. Соответствует стандарту RFC 9309.

Директивы User-agent, Allow, Disallow и Sitemap обрабатываются всеми крупными поисковиками. Sitemap должна быть указана абсолютным URL.

Помните: robots.txt — рекомендация, а не защита. Чувствительные страницы должны защищаться авторизацией, а не Disallow.

Часто задаваемые вопросы

Где должен лежать robots.txt?
Только в корне домена: https://site.com/robots.txt.
Что писать для разрешения всего?
User-agent: *\nAllow: /\nSitemap: https://site.com/sitemap.xml
Учитывает ли Google Disallow?
Не сканирует, но может показать URL без описания, если на него есть ссылки.
Проверил:Инженерная команда Easy Converter

Этот инструмент протестирован и откалиброван нашей инженерной командой. Вся обработка проходит локально в вашем браузере — файлы и данные не покидают устройство.