Générateur robots.txt
Générez un robots.txt impeccable : règles par bot, sitemap, allow/disallow avec validation visuelle.
Comment utiliser
- 1
Modèle
Site ouvert, blocage staging, accès sélectif.
- 2
Télécharger
Placer dans /robots.txt.
Détails techniques
robots.txt indique aux crawlers quelles parties indexer (RFC 9309).
Les directives User-agent, Allow, Disallow et Sitemap sont comprises par tous les moteurs majeurs.
Questions fréquentes
Où le placer ?
Dans la racine du domaine.
Tout autoriser ?
User-agent: *, Allow: /.
Google le respecte ?
Oui.
Revu par:Équipe d'ingénierie Easy Converter
Cet outil a été testé et calibré par notre équipe d'ingénierie. Tout le traitement se fait localement.