Analyseur de logs de crawlers IA
Déposez le log d’accès de votre serveur pour voir quels crawlers IA ont visité votre site, lesquels venaient des adresses publiées par leurs opérateurs et quelles pages ont échoué pour eux. Le log est lu dans votre navigateur et n’est jamais envoyé.
Déposez vos fichiers de log ici
ou
Fichiers .log, .txt, .json et .gz. Plusieurs fichiers sont lus dans un seul rapport.
Choisissez un fichier de log pour voir le rapport.
L’analyseur lit les logs nginx et Apache au format combined, ainsi que les logs de requêtes HTTP de Cloudflare Logpush (NDJSON). Les fichiers simples comme les .gz fonctionnent, et vous pouvez déposer plusieurs fichiers de rotation à la fois. Les très gros logs sont lus en flux, la page reste donc réactive.
Un user agent n’est qu’un nom, et n’importe qui peut envoyer GPTBot. Chaque visite est donc aussi comparée aux adresses IP que publie l’opérateur. Une visite provenant de ces adresses est vérifiée. Une visite venant d’ailleurs est signalée, mais seulement comme « ne provient pas des adresses publiées » : les opérateurs ajoutent des plages de temps en temps et notre copie de la liste peut avoir du retard. Certains opérateurs ne publient aucune liste ; leurs visites restent invérifiables.
Votre log reste sur votre appareil. La seule requête de la page porte sur les listes d’adresses publiques des opérateurs et ne contient rien de votre log.
Questions
Mon log est-il envoyé à SagBot ?
Non. Le fichier est lu et compté dans votre navigateur. Seules les listes publiques d’adresses IP des opérateurs sont téléchargées, et cette requête ne contient aucune donnée du log. Fermez l’onglet et le rapport disparaît.
Quels formats de log fonctionnent ?
Le format combined, utilisé par défaut par nginx et aussi par Apache, et les logs de requêtes HTTP de Cloudflare Logpush en NDJSON. Si votre serveur écrit le Common Log Format, il n’a pas de user agent : passez d’abord en combined. Notre guide sur les visites des crawlers IA montre comment.
Que signifie impostor ?
Le user agent se dit crawler IA, mais l’adresse IP est hors des plages que publie son opérateur. C’est le signe habituel d’une imitation, un scraper qui emprunte le nom. Il peut aussi s’agir d’un crawler authentique sur une plage ajoutée récemment par l’opérateur : voyez-y une piste, pas un verdict.
Pourquoi un crawler apparaît-il comme invérifiable ?
Son opérateur ne publie aucune liste d’adresses lisible par machine, ou nous n’avons pas pu la charger. Les visites sont comptées, mais le log seul ne permet pas de savoir si elles sont authentiques. Une résolution DNS inverse le permet, et le guide explique comment.
Pourquoi certaines visites IA manquent-elles dans mon log ?
Les pages servies depuis le cache d’un CDN n’atteignent jamais votre origine, elles ne sont donc pas dans son log. Si votre domaine chez Cloudflare n’est pas proxifié, ou si vous journalisez ailleurs, les requêtes du crawler n’apparaissent pas non plus. Utilisez le log du point qui reçoit réellement les requêtes.