AIクローラーアクセステスター: Lumosが毎週各ページで実行している同じテスト

なぜクローラー アクセスが GEO の最初の関門なのか

AI エンジンがあなたのページを引用するには、まず読む必要があります。 ChatGPT 、 Claude 、 Gemini 、 Perplexity はそれぞれ固有の user-agent 文字列と目的を持つクローラーを送り出し、いずれもコンテンツを取得する前に robots.txt を確認します。そこでブロックされていたら、他は何も意味を持ちません。スキーマも、 llms.txt も、文章の質も無関係です。あなたは見えません。

2026 年に Lumos が監査した 1,000 のミッドマーケット サイトでは、 41% が 13 種の主要な AI クローラーのうち少なくとも 1 つを誤ってブロックしていました。よくある犯人は次のとおりです。

• ステージング サイトから残った User-agent: * Disallow: / 。
• デフォルトで有効化されている Cloudflare のボット保護トグル。
• AI ボットが網にかかっていることに誰も気づかないまま「サイトを保護した」 CMS プラグイン。
• 数年前に追加された汎用的な Disallow ルール。
• WAF のヒューリスティックによる誤検知。

このツールが確認する 13 の AI クローラー

各ボットには特定の役割があり、すべて許可すべきサイトもあれば、サブセットを正当な理由でブロックするサイトもあります。

• GPTBot — OpenAI の学習クローラー。将来の GPT モデルを訓練するためにページを読みます。
• OAI-SearchBot — ChatGPT のリアルタイム検索クローラー。 ChatGPT の回答であなたが引用されるのはこれです。
• ChatGPT-User — ChatGPT ユーザーが回答内のリンクをクリックしたときに発火。
• ClaudeBot — Anthropic の Claude 用メイン クローラー。
• anthropic-ai — Anthropic の学習クローラー( ClaudeBot とは別)。
• Claude-Web — Claude がユーザーの代わりにページを訪れる際に使う user-agent 。
• PerplexityBot — Perplexity のメイン クローラー。
• Perplexity-User — Perplexity ユーザーがリンクをクリックしたときに発火。
• Google-Extended — Gemini 学習のオプトアウト フラグ。
• Googlebot — クラシック Google + AI Overviews と Bard / Gemini のリアルタイム回答の源。
• Applebot-Extended — Apple Intelligence 学習のオプトアウト。
• Bingbot — Bing + Copilot 。
• Bytespider — TikTok / Doubao の学習クローラー。

良い結果の見え方

GEO 最適化済みのサイトでは、ルート パス上の 13 ボットすべてが**「許可」**を示します。例外は次のとおりです。

• 一部のブランドは意図的に GPTBot 、 anthropic-ai 、 Google-Extended 、 Applebot-Extended (学習用)をブロックし、リアルタイム系( OAI-SearchBot 、 ChatGPT-User 、 ClaudeBot 、 PerplexityBot 、 Googlebot 、 Bingbot )は許可したままにします。これが「学習からはオプトアウト、引用にはオプトイン」のパターンです。
• 西側の AI エンジンに影響を与えずに TikTok 学習を避けるため Bytespider をブロックするブランドもあります。

すべて「許可」と表示されていれば、最初の関門は突破済みです。ブロックがあれば修正してください。

よくある間違い

• User-agent: * の Disallow で誤ってブロック。 一括の disallow は AI クローラーを含むすべてのボットを捕まえます。上記の AI user-agent に明示的な Allow ルールを追加してください。
• GPTBot をブロックして OAI-SearchBot は許可しないまま。 よくあるパターンですが、意図しているか確認してください。 ChatGPT 可視性が目的なら重要なのは OAI-SearchBot です。
• Cloudflare の AI ボット トグル。 2024 年に Cloudflare のダッシュボードに「 AI ボットをブロック」トグルが追加され、新規サイトではデフォルトで ON です。 robots.txt がいくら Allow と言っても、 Cloudflare は 403 を返します。
• robots.txt を HTML や認証越しで配信。 いずれも AI クローラーを諦めさせます。 text/plain と公開アクセスを強制してください。
• 古いルール。 2018 年の robots.txt には 2023-2024 年に登場した AI user-agent への言及がありません。
• 1 つのパスの結果を信頼しすぎる。 このテスターはルート( / )を確認します。 /blog や /docs で AI ボットをブロックしている場合、それらのパスもテストする必要があります。
• WAF のレート リミット。 厳しすぎるレート リミットは、 AI クローラーを実質的にブロックします。

テスト後にやること

1. 13個すべてが「許可」と表示される場合: ルートのrobots.txtレイヤーをクリアしました。スキーマ、引用適性、パスごとのチェックに進みましょう。
2. いずれかが「ブロック」と表示される場合: robots.txtを編集して、ブロックされたユーザーエージェント向けに明示的なAllow:ルールを追加し、このテスターを再実行してください。
3. robots.txtで許可していてもCDNやWAFがブロックする場合: Cloudflare → セキュリティ → ボット → 「AI Scrapers and Crawlers」を確認。Akamai/Impervaでは「AI」「scraper」とタグ付けされたbot managementルールを探してください。
4. ページごとの引用適性チェッカーと組み合わせて使ってください — アクセスは必要条件ですが十分ではありません。

Lumosが継続的に行っていること(このワンショットテストとの違い)

このページはオンデマンドでルートをテストします。便利ですが、スナップショットです。Lumosプラットフォームは同じテストを継続的なインフラとして実行します:

• /だけでなくサイト内の全URL。 ここでは/がチェックされます。Lumosは発見した全URL(ブログ記事、商品ページ、ドキュメント、サイトマップにあるすべて)に対して13ボットテストを実行します。リグレッションはそこに隠れます:/は開いているのに/blogがブロックされている、といった具合です。
• 思い出した時ではなく、毎週。 設定はドリフトします。CMSプラグインが更新され、Cloudflareのトグルがオンになり、コンテンツチームがルールを追加します。Lumosは毎週フルテストを再実行するので、変更を四半期単位ではなく数日で発見できます。
• 当日のアラート。 13ボットのいずれかが「許可」から「ブロック」に変わった瞬間、Lumosは差分とともにアラートを送ります — どのボット、どのパス、robots.txtやネットワーク応答で何が変わったか。「3ヶ月前にChatGPTのトラフィックが落ちたことに気づきました」とはもう言いません。
• robots.txt + ネットワーク層を1つのレポートに。 このスタンドアロンツールはrobots.txtだけを検査します。Lumosプラットフォームは各URLを各ユーザーエージェントとして取得し、実際のHTTP応答も報告します — Cloudflareの403やWAFブロックがrobots.txtルールと並んで表示されます。
• 引用・可視性データと連動。 ボットがブロックされた日を、Lumosはそのエンジンでの可視性スコアと相関させます — 技術イベントだけでなく、ビジネスへの影響が見えます。

このスタンドアロンツールは同じロジックを、一度だけルートで実行するものです。継続的な、URL単位の、アラート付きバージョンが欲しい方には、Lumosプラットフォームがそのために作られています。