robots.txt Generator
Erstellen Sie eine perfekte robots.txt: Bot-Regeln, Sitemap, Allow/Disallow mit visueller Prüfung.
Anleitung
- 1
Vorlage
Offene Site, Staging-Blockade, selektiver Zugriff.
- 2
Herunterladen
In /robots.txt ablegen.
Technische Details
robots.txt teilt Crawlern mit, welche Bereiche indexiert werden dürfen (RFC 9309).
Direktiven User-agent, Allow, Disallow und Sitemap werden von allen großen Suchmaschinen verstanden.
Häufige Fragen
Wohin?
In den Domain-Root.
Alles erlauben?
User-agent: *, Allow: /.
Beachtet Google?
Ja, crawlt nicht.
Geprüft von:Easy Converter Engineering-Team
Dieses Tool wurde von unserem Engineering-Team getestet und kalibriert. Alles läuft lokal in deinem Browser.