robots.txtジェネレーター — 無料・プライベート・ブラウザ内で
サイト用の有効なrobots.txtを瞬時に作成。アップロードは一切なし。
このツールは完全にブラウザ内で動作します。ファイルがアップロードされることはなく、お使いのデバイス上にとどまります。
User-agent: * Disallow:
robots.txtファイルは、検索エンジンやその他のクローラーに、サイトのどの部分を訪れてよいかを伝えます。これを正しく設定することは重要です — ルールが1つでも紛れ込むと、サイト全体がGoogleから隠れてしまったり、インデックスに載せたくないページが露出してしまったりすることがあります。
このジェネレーターは入力するそばからファイルを組み立てるので、各ルールが何をするのかを正確に確認できます。すべての処理はブラウザ内で行われ — データはどこにも送信されません — 仕上がりに満足したら、結果をコピーするか、robots.txtとしてダウンロードできます。
robots.txtジェネレーター の使い方
- ルールを適用するユーザーエージェントを設定します（すべてのクローラーには*を使います）。
- Disallowにしたいパスを追加し、必要に応じてAllowにするパスも追加します。
- 任意でクロール遅延とサイトマップのURLを追加します。
- ライブプレビューを確認し、コピーするか、robots.txtとしてダウンロードします。
- ファイルをサイトのルート（例：example.com/robots.txt）にアップロードします。
よくある質問
何かアップロードされたり、サーバーに送信されたりしますか？
いいえ。robots.txtのテキストは、入力するそばから完全にブラウザ内で組み立てられます。入力したものがアップロードされたり、保存されたり、共有されたりすることはありません。
robots.txtファイルはどこに置けばよいですか？
ドメインのルートに置く必要があり、https://yourdomain.com/robots.txt でアクセスできるようにします。クローラーはサブフォルダの中を探しません。
「Disallow: /」は何をしますか？
スラッシュ1つのDisallowは、そのユーザーエージェントに対してサイト全体をブロックします。すべてをクロールさせたい場合は、Disallowのパスを空のままにする（または「Allow: /」を使う）ようにしてください。
robots.txtはページを完全にGoogleから締め出せますか？
必ずしもそうではありません。これは行儀のよいクローラーにパスを取得しないよう求めるものですが、ブロックされたURLでも他からリンクされていればインデックスされることがあります。ページを検索結果から確実に締め出すには、noindexメタタグかHTTPヘッダーを使ってください。
サイトマップの行は追加すべきですか？
任意ですが推奨します。Sitemapの行は、クローラーをXMLサイトマップへ案内し、ページをより速く見つける手助けをします。