robots.txt ジェネレーター

他では切り替えられない AI クローラーにも対応

ブラウザ内で動きます。何もアップロードされません。

robots.txt

Web ルートに実際のファイルが存在しない限り、WordPress は仮想的な robots.txt を配信します。このファイルをアップロードすると、そちらが優先されます。

robots.txt ジェネレーターについて

標準ルールを備えた WordPress の robots.txt を生成します。さらに GPTBot、ClaudeBot、PerplexityBot、CCBot、Google-Extended をボットごとに個別に切り替え可能。あなたの文章を何に学習させるか、チェックボックス1つずつ決められます。

WordPress に必要なルールに加え、標準では付いてこないセキュリティ強化ルールも

よくある質問

Google-Extended をブロックすると検索順位に悪影響がありますか？

いいえ。Google-Extended はあなたのコンテンツが Gemini の学習に使われるかどうかを制御するものです。Googlebot にも、インデックスにも、Google 検索での順位にも影響しません。これは AI クローラー向けディレクティブについて最もよくある誤解です。

robots.txt は AI 企業のサイトのスクレイピングを本当に止められますか？

それを尊重するものは止められます。名前が挙がっているもののほとんどはそうです。ただしこれは柵ではなくお願いです。robots.txt を無視するクローラーにはまったく効きません。robots.txt をスクレイピング対策として売り込む人がいれば、それは言い過ぎです。

robots.txt ファイルはどこに置きますか？

サイトの Web ルート、wp-config.php と同じ場所に置き、example.com/robots.txt で参照できるようにします。実ファイルがない場合、WordPress は仮想的な robots.txt を返します。実ファイルをアップロードすると、そちらが優先されます。