Analizator logów crawlerów AI
Wrzuć log dostępu serwera, aby zobaczyć, które crawlery AI odwiedziły Twoją stronę, które z nich przyszły z opublikowanych adresów operatorów i na jakich podstronach napotkały błędy. Log jest czytany w Twojej przeglądarce i nigdy nie jest wysyłany.
Wrzuć tutaj pliki logów
lub
Pliki .log, .txt, .json i .gz. Kilka plików jest czytanych do jednego raportu.
Wybierz plik logu, aby zobaczyć raport.
Analizator czyta logi nginx i Apache w formacie combined oraz logi żądań HTTP z Cloudflare Logpush (NDJSON). Działają zwykłe pliki i pliki .gz, a kilka rotowanych plików możesz wrzucić naraz. Bardzo duże logi są czytane strumieniowo, więc strona nie zawiesza się.
User agent to tylko nazwa, a GPTBot może wysłać każdy. Dlatego każde trafienie jest też sprawdzane z adresami IP, które publikuje operator. Trafienie z tych adresów jest zweryfikowane. Trafienie spoza nich jest oznaczane, ale tylko jako „nie z opublikowanych adresów”: operatorzy co jakiś czas dodają zakresy, a nasza kopia listy może się spóźniać. Niektórzy operatorzy w ogóle nie publikują listy; ich trafienia pozostają niemożliwe do zweryfikowania.
Twój log zostaje na Twoim urządzeniu. Jedyne żądanie, jakie wysyła strona, dotyczy publicznych list adresów operatorów i nie zawiera niczego z Twojego logu.
Pytania
Czy mój log jest wysyłany do SagBot?
Nie. Plik jest czytany i liczony w Twojej przeglądarce. Pobierane są tylko publiczne listy adresów IP operatorów, a to żądanie nie zawiera danych z logu. Zamknij kartę, a raport zniknie.
Jakie formaty logów działają?
Format combined, którego nginx używa domyślnie, a także Apache, oraz logi żądań HTTP z Cloudflare Logpush jako NDJSON. Jeśli serwer zapisuje Common Log Format, nie ma w nim user agenta, więc najpierw przełącz go na combined. Jak to zrobić, pokazuje nasz poradnik o wizytach crawlerów AI.
Co oznacza impostor?
User agent podaje się za crawler AI, ale adres IP leży poza zakresami publikowanymi przez jego operatora. To zwykły znak podróbki: scrapera, który pożycza nazwę. Może to być też prawdziwy crawler w zakresie, który operator dodał niedawno, więc traktuj to jako trop, a nie wyrok.
Dlaczego crawler jest oznaczony jako niemożliwy do zweryfikowania?
Jego operator nie publikuje listy adresów w formie czytelnej dla maszyn albo nie udało nam się jej wczytać. Trafienia są wtedy liczone, ale z samego logu nie da się stwierdzić, czy są prawdziwe. Da się to zrobić odwrotnym DNS-em, a poradnik wyjaśnia jak.
Dlaczego w moim logu brakuje części wizyt AI?
Strony serwowane z cache CDN nigdy nie docierają do Twojego origin, więc nie ma ich w jego logu. Jeśli Twoja domena w Cloudflare nie jest proxowana albo logujesz gdzie indziej, żądania crawlera też się nie pojawią. Użyj logu z miejsca, które faktycznie przyjmuje żądania.