Teste de acesso de crawlers IA: O mesmo que a Lumos roda em cada página semanalmente

Por que o acesso de rastreadores é o primeiro portão do GEO

Antes que motores IA possam citar sua página, eles precisam lê-la. ChatGPT, Claude, Gemini e Perplexity despacham rastreadores — cada um com seu user-agent e propósito — e todos consultam seu robots.txt antes de buscar conteúdo. Bloqueie-os ali e nada mais importa: nem seu schema, nem seu llms.txt, nem a qualidade do texto. Você fica invisível.

Em nossa auditoria 2026 de 1.000 sites mid-market, 41% bloqueavam ao menos um dos 13 grandes rastreadores IA, quase sempre por acidente. Suspeitos de sempre: um User-agent: * Disallow: / herdado de um staging, o toggle de proteção contra bots do Cloudflare ligado por padrão ou um plugin de CMS que "protegeu" o site sem ninguém perceber que os bots IA ficaram presos.

Os 13 rastreadores IA que esta ferramenta verifica

Cada bot tem um papel específico. Alguns sites devem permitir todos; outros podem legitimamente bloquear um subconjunto:

• GPTBot — rastreador de treino da OpenAI. Lê páginas para treinar futuros modelos GPT. Bloqueá-lo te exclui do treino, mas não afeta citações no ChatGPT.
• OAI-SearchBot — rastreador em tempo real do ChatGPT. É ele que te torna citável nas respostas do ChatGPT. Precisa estar permitido para visibilidade no ChatGPT.
• ChatGPT-User — dispara quando um usuário do ChatGPT clica num link dentro de uma resposta. Permitir é praticamente obrigatório.
• ClaudeBot — rastreador principal da Anthropic para Claude, incluindo respostas em tempo real do Claude.ai.
• anthropic-ai — rastreador de treino da Anthropic (separado do ClaudeBot).
• Claude-Web — user-agent que o Claude usa ao visitar uma página em nome de um usuário.
• PerplexityBot — rastreador principal do Perplexity. Precisa estar permitido para aparecer nas respostas do Perplexity.
• Perplexity-User — dispara quando um usuário do Perplexity clica num link.
• Google-Extended — flag de opt-out de treino para Gemini. Bloqueá-lo te exclui do treino, mas não bloqueia o AI Overviews (que usa Googlebot).
• Googlebot — Google clássico + alimenta AI Overviews e respostas em tempo real do Bard/Gemini.
• Applebot-Extended — opt-out de treino do Apple Intelligence.
• Bingbot — Bing + Copilot. Precisa estar permitido para citações no Copilot.
• Bytespider — rastreador de treino do TikTok / Doubao. Opcional; muitas marcas ocidentais optam por bloquear.

Como são bons resultados

Um site otimizado para GEO mostra os 13 bots como Permitidos no caminho raiz. Exceções:

• Algumas marcas bloqueiam intencionalmente GPTBot, anthropic-ai, Google-Extended e Applebot-Extended (apenas treino) mantendo os de tempo real (OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Googlebot, Bingbot) permitidos. É o padrão "opt-out de treino, opt-in para citação".
• Algumas bloqueiam Bytespider para evitar o treino do TikTok sem afetar motores ocidentais.

Se vir Permitido em tudo, passou o primeiro portão. Se vir bloqueios, corrija — as próximas seções mostram como.

Erros comuns

Bloquear por acidente via User-agent: * Disallow. Um disallow geral pega todos os bots, IA incluídos. Adicione regras Allow explícitas para os user-agents IA.

Bloquear GPTBot mas não OAI-SearchBot. Padrão comum, mas confirme se é intencional. Se seu objetivo é visibilidade no ChatGPT, o que importa é o OAI-SearchBot — GPTBot só afeta treino.

Toggle de bots IA no Cloudflare. Em 2024 o Cloudflare adicionou um toggle "Bloquear bots IA" ligado por padrão em sites novos. robots.txt pode permitir tudo — o Cloudflare ainda vai devolver 403.

Servir robots.txt como HTML ou atrás de auth. Ambos fazem rastreadores IA desistirem. Force text/plain e acesso público.

Regras desatualizadas. Um robots.txt de 2018 não menciona user-agents IA surgidos em 2023-2024. Default-allow geralmente te salva, mas bloqueios genéricos ainda podem pegá-los.

Confiar no resultado de um único caminho. Este verificador testa a raiz (/). Se você bloqueou bots IA em /blog ou /docs, precisa testar esses caminhos também — costumam abrigar seu conteúdo mais citável.

Depois de testar

1. Se os 13 aparecem Permitidos: você passou na camada robots.txt para a raiz. Avance para schema, citabilidade e verificações por caminho.
2. Se algum aparece Bloqueado: edite seu robots.txt para adicionar regras Allow: explícitas aos user-agents bloqueados e rode este testador novamente.
3. Se seu CDN ou WAF bloqueia mesmo com o robots.txt permitindo: verifique Cloudflare → Segurança → Bots → "AI Scrapers and Crawlers"; em Akamai/Imperva, procure regras de bot management marcadas "AI" ou "scraper".
4. Combine com o Verificador de citabilidade por página — acesso é necessário, mas não suficiente.

O que a Lumos faz continuamente (vs este teste pontual)

Esta página testa sua raiz sob demanda. Útil, mas é uma foto. A plataforma Lumos pega o mesmo teste e o transforma em infraestrutura contínua:

• Cada URL do seu site, não só /. Aqui se testa /. A Lumos roda o teste dos 13 bots em cada URL que descobre — posts, páginas de produto, docs, tudo que estiver no sitemap. É aí que as regressões se escondem: /blog bloqueado enquanto / permanece aberto.
• Semanalmente, não quando você lembra. Configurações desviam. Um plugin do CMS atualiza, um toggle do Cloudflare ativa, um time de conteúdo adiciona uma regra. A Lumos roda o teste completo toda semana para você pegar a mudança em dias, não em trimestres.
• Alertas no mesmo dia. Quando qualquer um dos 13 bots vai de Permitido para Bloqueado, a Lumos envia um alerta com o diff — qual bot, quais caminhos, o que mudou no robots.txt ou na resposta de rede. Acabou aquele "notamos que o tráfego do ChatGPT caiu há três meses".
• robots.txt + camada de rede em um relatório só. Esta ferramenta isolada inspeciona apenas robots.txt. A plataforma Lumos também busca cada URL como cada user-agent e reporta a resposta HTTP real — então 403s de Cloudflare e bloqueios WAF aparecem junto às regras do robots.txt.
• Ligado aos seus dados de citação e visibilidade. Quando um bot é bloqueado, a Lumos correlaciona o dia com sua pontuação de visibilidade naquele motor — para você ver o impacto de negócio, não só o evento técnico.

Esta ferramenta isolada é a mesma lógica, executada uma vez na raiz. Se você quer a versão contínua, por URL e com alertas, a plataforma Lumos foi feita para isso.