Tester di accesso dei crawler IA: Lo stesso test che Lumos esegue ogni settimana su ogni pagina

Perché l'accesso dei crawler è la prima porta del GEO

Prima che un motore IA possa citare la tua pagina, deve leggerla. ChatGPT, Claude, Gemini e Perplexity inviano crawler — ciascuno con il proprio user-agent e ruolo — e ognuno consulta il tuo robots.txt prima di recuperare contenuto. Bloccarli lì significa che nient'altro conta: né il tuo schema, né il tuo llms.txt, né la qualità della prosa. Sei invisibile.

Nel nostro audit 2026 di 1.000 siti mid-market, il 41% bloccava almeno uno dei 13 grandi crawler IA, quasi sempre per errore. Sospetti abituali: un User-agent: * Disallow: / ereditato da uno staging, il toggle di bot protection di Cloudflare attivo per default o un plugin CMS che ha "messo in sicurezza" il sito senza che nessuno notasse i bot IA presi nella rete.

I 13 crawler IA che questo strumento controlla

Ogni bot ha un ruolo specifico. Alcuni siti dovrebbero permetterli tutti, altri possono legittimamente bloccarne un sottoinsieme:

• GPTBot — crawler di training di OpenAI. Legge le pagine per addestrare i futuri modelli GPT. Bloccarlo ti toglie dal training ma non incide sulle citazioni in ChatGPT.
• OAI-SearchBot — crawler in tempo reale di ChatGPT. È quello che ti rende citabile nelle risposte di ChatGPT. Deve essere permesso per la visibilità su ChatGPT.
• ChatGPT-User — scatta quando un utente di ChatGPT clicca un link in una risposta. Permetterlo è praticamente obbligatorio.
• ClaudeBot — crawler principale di Anthropic per Claude, incluse le risposte in tempo reale di Claude.ai.
• anthropic-ai — crawler di training di Anthropic (separato da ClaudeBot).
• Claude-Web — user-agent che Claude usa quando visita una pagina per conto di un utente.
• PerplexityBot — crawler principale di Perplexity. Deve essere permesso per apparire nelle risposte di Perplexity.
• Perplexity-User — scatta quando un utente Perplexity clicca un link.
• Google-Extended — flag di opt-out training per Gemini. Bloccarlo ti toglie dal training ma non blocca AI Overviews (che usa Googlebot).
• Googlebot — Google classico + alimenta AI Overviews e risposte in tempo reale di Bard/Gemini.
• Applebot-Extended — opt-out training di Apple Intelligence.
• Bingbot — Bing + Copilot. Deve essere permesso per le citazioni in Copilot.
• Bytespider — crawler di training TikTok / Doubao. Opzionale; molti brand occidentali scelgono di bloccarlo.

Come si presentano dei buoni risultati

Un sito ottimizzato per GEO mostra tutti i 13 bot come Permessi sul percorso radice. Eccezioni:

• Alcuni brand bloccano intenzionalmente GPTBot, anthropic-ai, Google-Extended e Applebot-Extended (solo training) e tengono permessi quelli in tempo reale (OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Googlebot, Bingbot). È il pattern "opt-out dal training, opt-in alla citazione".
• Alcuni bloccano Bytespider per evitare il training TikTok senza colpire i motori occidentali.

Se vedi Permesso ovunque, hai passato la prima porta. Se vedi blocchi, correggili — le sezioni seguenti spiegano come.

Errori comuni

Bloccare per errore via User-agent: * Disallow. Un disallow generico cattura tutti i bot, IA inclusi. Aggiungi regole Allow esplicite per gli user-agent IA.

Bloccare GPTBot ma non OAI-SearchBot. Pattern frequente, ma assicurati che sia voluto. Se l'obiettivo è la visibilità in ChatGPT, ciò che conta è OAI-SearchBot — GPTBot influisce solo sul training.

Toggle bot IA di Cloudflare. Nel 2024 Cloudflare ha aggiunto un toggle "Blocca bot IA" attivo per default sui nuovi siti. Il robots.txt può permettere quanto vuole — Cloudflare risponderà 403 lo stesso.

Servire robots.txt come HTML o dietro auth. Entrambi fanno desistere i crawler IA. Forza text/plain e accesso pubblico.

Regole obsolete. Un robots.txt del 2018 non menziona gli user-agent IA emersi nel 2023-2024. Il comportamento default-allow di solito ti salva, ma blocchi generici possono comunque catturarli.

Fidarsi del risultato di un solo percorso. Questo strumento controlla la radice (/). Se hai bloccato bot IA su /blog o /docs, devi testare anche quei percorsi — è lì che di solito vive il contenuto più citabile.

Dopo il test

1. Se tutti i 13 risultano Permessi: hai superato il livello robots.txt per la radice. Passa a schema, citabilità e controlli per percorso.
2. Se uno risulta Bloccato: modifica il tuo robots.txt aggiungendo regole Allow: esplicite per gli user-agent bloccati e ri-esegui questo tester.
3. Se il tuo CDN o WAF blocca nonostante il robots.txt permetta: controlla Cloudflare → Sicurezza → Bots → "AI Scrapers and Crawlers"; in Akamai/Imperva cerca regole di bot management etichettate "AI" o "scraper".
4. Abbina al Verificatore di citabilità per pagina — l'accesso è necessario ma non sufficiente.

Cosa fa Lumos in continuo (vs questo test una-tantum)

Questa pagina testa la tua radice su richiesta. Utile, ma è una fotografia. La piattaforma Lumos prende lo stesso test e lo trasforma in infrastruttura continua:

• Ogni URL del tuo sito, non solo /. Qui si testa /. Lumos esegue il test sui 13 bot su ogni URL che scopre — post del blog, pagine prodotto, docs, tutto quello che c'è in sitemap. Lì si nascondono le regressioni: /blog bloccato mentre / resta aperto.
• Ogni settimana, non quando te ne ricordi. Le configurazioni cambiano. Un plugin CMS si aggiorna, un toggle Cloudflare si attiva, un team contenuti aggiunge una regola. Lumos ri-esegue il test completo ogni settimana così cogli il cambiamento in giorni, non in trimestri.
• Avvisi il giorno stesso. Quando uno dei 13 bot passa da Permesso a Bloccato, Lumos invia un avviso con il diff — quale bot, quali percorsi, cos'è cambiato nel robots.txt o nella risposta di rete. Basta "abbiamo notato che il traffico ChatGPT è calato tre mesi fa".
• robots.txt + livello di rete in un solo report. Questo strumento autonomo ispeziona solo robots.txt. La piattaforma Lumos recupera anche ogni URL come ogni user-agent e riporta la risposta HTTP reale — quindi 403 Cloudflare e blocchi WAF emergono accanto alle regole robots.txt.
• Legato ai tuoi dati di citazione e visibilità. Quando un bot viene bloccato, Lumos correla il giorno con il tuo punteggio di visibilità su quel motore — vedi l'impatto di business, non solo l'evento tecnico.

Questo strumento autonomo è la stessa logica, eseguita una volta sulla radice. Per la versione continua, per URL e con alert, la piattaforma Lumos è fatta per quello.