robots.txt ジェネレーター
完璧な robots.txt を生成:bot 別ルール、sitemap、allow/disallow をビジュアル検証付きで。
使い方
- 1
テンプレート
公開、staging ブロック、選択アクセス。
- 2
ダウンロード
/robots.txt に配置。
技術的な詳細
robots.txt はクローラにどの部分をインデックスするかを伝えます (RFC 9309)。
User-agent、Allow、Disallow、Sitemap ディレクティブは主要検索エンジンすべてが理解します。
よくある質問
どこに置く?
ドメインのルート。
すべて許可?
User-agent: *, Allow: /.
Google は守る?
はい。
監修:Easy Converter エンジニアリングチーム
本ツールは当社エンジニアリングチームによりテスト・校正されています。すべての処理はローカルで完結します。