Validador e testador de robots.txt
Busque o robots.txt de um site ou cole o seu. Veja cada erro por linha, teste qualquer URL e confira quais crawlers conseguem entrar.
Resultados
Busque um robots.txt ou cole um para ver os problemas e quais crawlers ele deixa entrar.
O validador lê o robots.txt linha por linha, como o Google e outros crawlers fazem. Ele sinaliza linhas que os crawlers ignoram, regras que nunca coincidem, regras que escondem CSS e JavaScript do Google e linhas que o Google não suporta, como Noindex e Crawl-delay.
A falta de um robots.txt (HTTP 404) não é problema: os crawlers entendem isso como permissão para rastrear tudo. Um erro de servidor (HTTP 5xx) é pior. O Google o trata como “bloquear tudo” e para de rastrear até o arquivo voltar a carregar.
As linhas Content-Signal são válidas. Elas dizem como seu conteúdo pode ser usado em buscas, respostas de IA e treinamento de IA, então o validador só confere se os valores são yes ou no.
Perguntas
Como testo meu robots.txt?
Informe seu domínio ou cole o arquivo. Depois adicione caminhos em Testar URLs e escolha um crawler. Cada caminho mostra Permitido ou Bloqueado e a regra que decidiu.
O testador de robots.txt do Google acabou. O que posso usar?
O Google aposentou o testador no Search Console em 2023. O relatório de robots.txt só mostra os arquivos que o Google buscou. Esta página testa suas regras com qualquer caminho e crawler, como o testador antigo fazia.
Quando Allow e Disallow coincidem, qual vence?
Vence a regra com o caminho mais longo. Se tiverem o mesmo tamanho, Allow vence. Assim, Disallow: /blog com Allow: /blog/public deixa os crawlers entrarem em /blog/public e os mantém fora do resto de /blog.
O Disallow mantém uma página fora do Google?
Não. Disallow impede o rastreamento, não a indexação. O Google ainda pode listar uma URL bloqueada se outras páginas apontarem para ela. Para manter uma página fora, permita o rastreamento e adicione uma metatag noindex ou o cabeçalho X-Robots-Tag.
Como bloqueio crawlers de IA?
Dê a cada crawler seu próprio grupo, por exemplo User-agent: GPTBot seguido de Disallow: /. Crawlers de treinamento e de busca com IA são bots diferentes, então bloqueie só os que você quer. A cobertura de crawlers mostra o resultado de cada um.
Um erro de servidor no robots.txt é pior que um 404?
Sim. Um 404 significa que não há regras, então os crawlers podem rastrear tudo. Um 5xx significa que o arquivo não pôde ser lido, e o Google trata o site inteiro como bloqueado. Corrija primeiro os erros de servidor no robots.txt.