AIボットとGooglebotのためのrobots.txtテスター

Googleが採用しているrobots.txtの標準規格RFC 9309に従います。クローラーは自身のuser-agentを指定したグループ（大文字・小文字を区別しない）に従い、該当するものがなければUser-agent: * グループにフォールバックします。そのグループ内では、一致するAllowまたはDisallowのパスのうち最も長いものが優先され、同じ長さの場合はAllowが優先されます。ワイルドカード（*）とURL末尾のアンカー（$）にも対応しています。

目的によります。学習用クローラー（GPTBot、ClaudeBot、Google-Extended、CCBot）はモデルの学習のためにデータを収集するもので、ブロックするかどうかは方針の問題です。検索用・ユーザーリクエスト用のボット（OAI-SearchBot、ChatGPT-User、Claude-SearchBot、PerplexityBot）は、AIアシスタントがあなたを引用・リンクするために必要なものです。多くのブランドは、ブロックするとしても学習用のみにとどめ、AI検索は許可しています。

いいえ。Google-Extendedが制御するのは、コンテンツがGeminiモデルの学習とグラウンディングに使われるかどうかだけです。AI OverviewsとAI ModeはGoogle検索の一部でGooglebotを使用しています。Googlebotをブロックすると、Googleから完全に除外されてしまいます。

いいえ。robots.txtが止めるのはクロールであって、インデックス登録ではありません。ブロックされたURLでも、そこへのリンクから説明文なしでインデックスされることがあります。検索結果からページを除外するには、クロールを許可したうえでnoindexのメタタグまたはX-Robots-Tagヘッダーを使用してください。

404の場合は、すべてクロールしてよいとみなされます。5xxのサーバーエラーの場合、Googleはしばらくの間「すべて禁止」として扱うため、サイト全体のクロールが止まる可能性があります。robots.txtが常に200で確実に配信されるようにしてください。

はい。テスト後、エディターでrobots.txtとパスを編集すると、ブラウザ内で結果の表が即座に更新されるので、デプロイ前に安全にルールを試せます。