クローラーごとにAllow・Disallowのパスを設定し、サイトマップURLを追加するだけで、完成したrobots.txtファイルをすぐにコピー・ダウンロードできます。コーディング知識は不要です。
クローラーグループを作成して、ファイルを生成・コピー・ダウンロードしてください。
# 「グループ追加」→「生成する」の順にクリックしてください
パスは必ず /admin/ のようにルート相対パスで記述してください。
サイトマップは https://example.com/sitemap.xml のようにフルURLで記載します。
Disallow: / と入力するとサイト全体のクロールをブロックします。意図的でない場合は使用しないでください。
Googlebot・Bingbotなど検索エンジンごとに異なるルールを設定するには、グループを複数作成します。
robots.txtはウェブサイトのルートディレクトリに置く1つのテキストファイルです。検索エンジンのクローラーがあなたのサイトをどのようにクロールすべきかを指示する役割を持っています。
Googlebotがサイトをクロールできる回数には上限（クロールバジェット）があります。管理画面や重複ページなど不要なURLをDisallowに設定することで、重要なページにクロールリソースを集中させることができます。大規模サイトほど効果が高まります。
検索結果に表示させたくないステージング環境・内部検索結果ページ・重複コンテンツなどをクロールさせないことで、サイトのインデックス品質を高く保てます。薄いコンテンツや重複URLが蓄積するとSEO評価が下がるリスクがあります。
robots.txtにSitemapディレクティブを記述することで、クローラーがXMLサイトマップをより確実に発見できます。Google Search Consoleで個別に登録するよりも、robots.txtに記述することで複数の検索エンジンに同時に伝えられます。
① User-agentを選択し、AllowとDisallowのパスを入力して「グループ追加」をクリック。
② 必要な数だけグループを追加したら「生成する」をクリック。
③ コード欄に表示されたrobots.txtをコピーまたはダウンロードして、自社サイトのルートディレクトリ（例: https://example.com/robots.txt）に設置してください。
このツールはすべてブラウザ内で動作します。サーバーへのデータ送信は一切なく、アカウント登録も不要です。生成したrobots.txtの内容は完全にあなたのものです。何度でも作り直せるので、サイト構成の変化に合わせて定期的に見直すことをお勧めします。
このジェネレーターが出力するrobots.txtの形式は、Googleが公開しているrobots.txtの仕様に沿っています。User-agent、Allow、Disallow、Sitemapの各ディレクティブを正しい順序・形式で出力するため、主要な検索エンジンに問題なく認識されます。
https://example.com/robots.txt のURLでアクセスできる場所です。サブドメインがある場合はそれぞれのルートに個別のrobots.txtを用意する必要があります。