Testeur d'accès des crawlers IA: Le même test que Lumos exécute chaque semaine sur chaque page

Pourquoi l'accès des crawlers est la première porte du GEO

Avant qu'un moteur IA puisse citer votre page, il doit la lire. ChatGPT, Claude, Gemini et Perplexity envoient des crawlers — chacun avec son user-agent et son rôle — et tous consultent votre robots.txt avant de récupérer le contenu. Si vous les bloquez là, rien d'autre ne compte : ni votre schema, ni votre llms.txt, ni la qualité de votre prose. Vous êtes invisible.

Dans notre audit 2026 de 1 000 sites mid-market, 41% bloquaient au moins un des 13 grands crawlers IA, presque toujours par accident. Coupables habituels : un User-agent: * Disallow: / hérité d'un staging, un toggle de protection bots de Cloudflare activé par défaut, ou un plugin CMS qui a « sécurisé » le site sans que personne ne remarque que les bots IA étaient pris dans le filet.

Les 13 crawlers IA que vérifie cet outil

Chaque bot a un rôle précis. Certains sites devraient tous les autoriser, d'autres peuvent légitimement en bloquer une partie :

• GPTBot — crawler d'entraînement d'OpenAI. Lit les pages pour entraîner les futurs modèles GPT. Le bloquer vous exclut de l'entraînement mais n'affecte pas les citations dans ChatGPT.
• OAI-SearchBot — crawler temps réel de ChatGPT. C'est celui qui vous rend citable dans les réponses ChatGPT. Doit être autorisé pour la visibilité ChatGPT.
• ChatGPT-User — se déclenche quand un utilisateur ChatGPT clique sur un lien dans une réponse. L'autoriser est quasi obligatoire.
• ClaudeBot — crawler principal d'Anthropic pour Claude, y compris les réponses temps réel de Claude.ai.
• anthropic-ai — crawler d'entraînement d'Anthropic (distinct de ClaudeBot).
• Claude-Web — user-agent que Claude utilise quand il visite une page pour le compte d'un utilisateur.
• PerplexityBot — crawler principal de Perplexity. Doit être autorisé pour apparaître dans les réponses Perplexity.
• Perplexity-User — se déclenche quand un utilisateur Perplexity clique sur un lien.
• Google-Extended — flag d'opt-out d'entraînement pour Gemini. Le bloquer vous exclut de l'entraînement mais ne bloque pas les AI Overviews (qui utilisent Googlebot).
• Googlebot — Google classique + alimente AI Overviews et les réponses temps réel de Bard/Gemini.
• Applebot-Extended — opt-out d'entraînement d'Apple Intelligence.
• Bingbot — Bing + Copilot. Doit être autorisé pour les citations Copilot.
• Bytespider — crawler d'entraînement TikTok / Doubao. Optionnel ; beaucoup de marques occidentales choisissent de le bloquer.

À quoi ressemble un bon résultat

Un site optimisé pour le GEO affiche les 13 bots en Autorisé sur le chemin racine. Exceptions :

• Certaines marques bloquent intentionnellement GPTBot, anthropic-ai, Google-Extended et Applebot-Extended (entraînement uniquement) tout en gardant ceux en temps réel (OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Googlebot, Bingbot) autorisés. C'est le pattern « opt-out entraînement, opt-in citation ».
• Certaines bloquent Bytespider pour éviter l'entraînement TikTok sans affecter les moteurs occidentaux.

Si vous voyez Autorisé partout, vous avez passé la première porte. Si vous voyez des blocages, corrigez — les sections suivantes expliquent comment.

Erreurs courantes

Bloquer par accident via User-agent: * Disallow. Un disallow global attrape tous les bots, IA compris. Ajoutez des règles Allow explicites pour les user-agents IA.

Bloquer GPTBot mais pas OAI-SearchBot. Pattern courant, mais soyez sûr de votre intention. Si l'objectif est la visibilité ChatGPT, c'est OAI-SearchBot qui compte — GPTBot ne touche que l'entraînement.

Toggle bots IA Cloudflare. Le tableau de bord Cloudflare a ajouté en 2024 un toggle « Bloquer les bots IA » activé par défaut sur les nouveaux sites. Votre robots.txt aura beau tout autoriser — Cloudflare renverra quand même 403.

Servir robots.txt en HTML ou derrière une auth. Les deux font abandonner les crawlers IA. Forcez text/plain et l'accès public.

Règles obsolètes. Un robots.txt de 2018 ne mentionne pas les user-agents IA apparus en 2023-2024. Le comportement default-allow vous sauve souvent, mais des disallow génériques peuvent les attraper.

Faire confiance au résultat sur un seul chemin. Ce testeur vérifie la racine (/). Si vous avez bloqué des bots IA sur /blog ou /docs, il faut tester aussi ces chemins — c'est souvent là que vit votre contenu le plus citable.

Après le test

1. Si les 13 sont Autorisés : vous avez franchi la couche robots.txt à la racine. Passez au schema, à la citabilité et aux vérifications par chemin.
2. Si un est Bloqué : modifiez votre robots.txt pour ajouter des règles Allow: explicites pour les user-agents bloqués, puis relancez ce testeur.
3. Si votre CDN ou WAF bloque malgré l'autorisation par robots.txt : vérifiez Cloudflare → Sécurité → Bots → « AI Scrapers and Crawlers » ; sur Akamai/Imperva, cherchez les règles de bot management étiquetées « AI » ou « scraper ».
4. Combinez avec le Vérificateur de citabilité par page — l'accès est nécessaire, pas suffisant.

Ce que Lumos fait en continu (vs ce test ponctuel)

Cette page teste votre racine à la demande. Utile, mais c'est une photo. La plateforme Lumos prend le même test et en fait une infrastructure continue :

• Chaque URL de votre site, pas seulement /. Ici on teste /. Lumos exécute le test des 13 bots sur chaque URL qu'il découvre — articles, fiches produit, docs, tout ce qui est dans le sitemap. C'est là que les régressions se cachent : /blog bloqué pendant que / reste ouvert.
• Chaque semaine, pas quand vous y pensez. Les configurations dérivent. Un plugin CMS se met à jour, un toggle Cloudflare s'active, une équipe contenu ajoute une règle. Lumos relance le test complet chaque semaine pour que vous repériez le changement en jours, pas en trimestres.
• Alertes le jour même. Quand l'un des 13 bots passe d'Autorisé à Bloqué, Lumos envoie une alerte avec le diff — quel bot, quels chemins, ce qui a changé dans robots.txt ou dans la réponse réseau. Fini le « on a remarqué que le trafic ChatGPT a baissé il y a trois mois ».
• robots.txt + couche réseau dans un seul rapport. Cet outil autonome n'inspecte que robots.txt. La plateforme Lumos récupère aussi chaque URL en tant que chaque user-agent et rapporte la vraie réponse HTTP — les 403 Cloudflare et blocages WAF apparaissent à côté des règles robots.txt.
• Lié à vos données de citation et de visibilité. Quand un bot est bloqué, Lumos corrèle le jour avec votre score de visibilité sur ce moteur — pour que vous voyiez l'impact métier, pas seulement l'événement technique.

Cet outil autonome, c'est la même logique exécutée une fois à la racine. Pour la version continue, par URL et avec alertes, la plateforme Lumos est faite pour ça.