Analizzatore di log dei crawler AI
Trascina il log di accesso del tuo server per vedere quali crawler AI hanno visitato il sito, quali arrivavano dagli indirizzi pubblicati dagli operatori e quali pagine sono fallite per loro. Il log viene letto nel tuo browser e non viene mai caricato.
Trascina qui i file di log
oppure
File .log, .txt, .json e .gz. Più file vengono letti in un unico report.
Scegli un file di log per vedere il report.
L’analizzatore legge i log di nginx e Apache nel formato combined e i log delle richieste HTTP di Cloudflare Logpush (NDJSON). Funzionano sia i file normali sia i .gz, e puoi trascinare più file ruotati insieme. I log molto grandi vengono letti in streaming, così la pagina resta reattiva.
Uno user agent è solo un nome, e chiunque può inviare GPTBot. Per questo ogni visita viene confrontata anche con gli indirizzi IP che l’operatore pubblica. Una visita da quegli indirizzi è verificata. Una visita da fuori viene segnalata, ma solo come «non proviene dagli indirizzi pubblicati»: gli operatori aggiungono intervalli di tanto in tanto e la nostra copia dell’elenco può essere in ritardo. Alcuni operatori non pubblicano alcun elenco; le loro visite restano non verificabili.
Il tuo log resta sul tuo dispositivo. L’unica richiesta della pagina riguarda gli elenchi pubblici di indirizzi degli operatori e non contiene nulla del tuo log.
Domande
Il mio log viene caricato su SagBot?
No. Il file viene letto e contato nel tuo browser. Si scaricano solo gli elenchi pubblici di indirizzi IP degli operatori, e quella richiesta non contiene dati del log. Chiudi la scheda e il report sparisce.
Quali formati di log funzionano?
Il formato combined, usato da nginx per impostazione predefinita e anche da Apache, e i log delle richieste HTTP di Cloudflare Logpush in NDJSON. Se il tuo server scrive il Common Log Format, manca lo user agent: passa prima a combined. La nostra guida sulle visite dei crawler AI mostra come.
Che cosa significa impostor?
Lo user agent dichiara di essere un crawler AI, ma l’indirizzo IP è fuori dagli intervalli pubblicati dal suo operatore. È il segno tipico di un falso, uno scraper che prende in prestito il nome. Può anche essere un crawler autentico in un intervallo aggiunto di recente dall’operatore, quindi consideralo un indizio, non un verdetto.
Perché un crawler risulta non verificabile?
Il suo operatore non pubblica un elenco di indirizzi leggibile da una macchina, oppure non siamo riusciti a caricarlo. Le visite vengono contate, ma dal solo log non si può capire se siano autentiche. Il DNS inverso può dirlo, e la guida spiega come.
Perché mancano alcune visite AI nel mio log?
Le pagine servite dalla cache di una CDN non raggiungono mai il tuo origin, quindi non sono nel suo log. Se il tuo dominio su Cloudflare non passa dal proxy, o registri altrove, nemmeno le richieste del crawler compaiono. Usa il log del punto che riceve davvero le richieste.