Analisador de logs de crawlers de IA
Solte o log de acesso do seu servidor para ver quais crawlers de IA visitaram seu site, quais vieram dos endereços publicados pelos operadores e quais páginas falharam para eles. O log é lido no seu navegador e nunca é enviado.
Solte os arquivos de log aqui
ou
Arquivos .log, .txt, .json e .gz. Vários arquivos são lidos num único relatório.
Escolha um arquivo de log para ver o relatório.
O analisador lê logs do nginx e do Apache no formato combined, além de logs de requisições HTTP do Cloudflare Logpush (NDJSON). Arquivos simples e .gz funcionam, e você pode soltar vários arquivos rotacionados de uma vez. Logs muito grandes são lidos em fluxo, então a página continua responsiva.
Um user agent é só um nome, e qualquer um pode enviar GPTBot. Por isso cada visita também é conferida com os endereços IP que o operador publica. Uma visita desses endereços é verificada. Uma visita de fora é sinalizada, mas apenas como “não vem dos endereços publicados”: os operadores adicionam faixas de vez em quando e nossa cópia da lista pode ficar defasada. Alguns operadores não publicam lista nenhuma; as visitas deles ficam como não verificáveis.
Seu log fica no seu dispositivo. A única requisição que a página faz é a das listas públicas de endereços dos operadores, e ela não leva nada do seu log.
Perguntas
Meu log é enviado ao SagBot?
Não. O arquivo é lido e contado no seu navegador. Só as listas públicas de endereços IP dos operadores são baixadas, e essa requisição não leva dados do log. Feche a aba e o relatório some.
Quais formatos de log funcionam?
O formato combined, usado por padrão pelo nginx e também pelo Apache, e os logs de requisições HTTP do Cloudflare Logpush em NDJSON. Se o seu servidor grava o Common Log Format, ele não tem user agent, então mude antes para combined. Nosso guia sobre visitas de crawlers de IA mostra como.
O que significa impostor?
O user agent diz que é um crawler de IA, mas o endereço IP está fora das faixas que o operador publica. É o sinal comum de falsificação, um scraper usando o nome. Também pode ser um crawler genuíno numa faixa adicionada há pouco pelo operador, então trate como uma pista, não como um veredito.
Por que um crawler aparece como não verificável?
O operador não publica uma lista de endereços legível por máquina, ou não conseguimos carregá-la. As visitas são contadas, mas só pelo log não dá para saber se são genuínas. A consulta de DNS reverso consegue, e o guia explica como.
Por que algumas visitas de IA não aparecem no meu log?
Páginas servidas pelo cache de uma CDN nunca chegam à sua origem, então não estão no log dela. Se o seu domínio no Cloudflare não passa pelo proxy, ou você registra em outro lugar, as requisições do crawler também não aparecem. Use o log do ponto que realmente recebe as requisições.