KI-Crawler-Log-Analyse
Ziehen Sie Ihr Server-Zugriffslog hinein, um zu sehen, welche KI-Crawler Ihre Website besucht haben, welche davon von den veröffentlichten Adressen der Betreiber kamen und welche Seiten für sie fehlgeschlagen sind. Das Log wird in Ihrem Browser gelesen und nie hochgeladen.
Logdateien hierher ziehen
oder
.log-, .txt-, .json- und .gz-Dateien. Mehrere Dateien werden zu einem Bericht zusammengelesen.
Wählen Sie eine Logdatei, um den Bericht zu sehen.
Die Analyse liest nginx- und Apache-Logs im Combined-Format sowie HTTP-Request-Logs von Cloudflare Logpush (NDJSON). Einfache Dateien und .gz-Dateien funktionieren, und Sie können mehrere rotierte Dateien auf einmal hineinziehen. Sehr große Logs werden als Stream gelesen, die Seite bleibt also bedienbar.
Ein User-Agent ist nur ein Name, und GPTBot kann jeder senden. Deshalb wird jeder Treffer zusätzlich mit den IP-Adressen abgeglichen, die der Betreiber veröffentlicht. Ein Treffer von diesen Adressen gilt als verifiziert. Ein Treffer von außerhalb wird markiert, bedeutet aber nur „nicht von den veröffentlichten Adressen“: Betreiber ergänzen von Zeit zu Zeit Bereiche, und unsere Kopie der Liste kann hinterherhinken. Manche Betreiber veröffentlichen gar keine Liste; ihre Treffer bleiben nicht verifizierbar.
Ihr Log bleibt auf Ihrem Gerät. Die einzige Anfrage der Seite gilt den öffentlichen Adresslisten der Betreiber und enthält nichts aus Ihrem Log.
Fragen
Wird mein Log zu SagBot hochgeladen?
Nein. Die Datei wird in Ihrem Browser gelesen und gezählt. Abgerufen werden nur die öffentlichen IP-Adresslisten der Betreiber, und diese Anfrage enthält keine Logdaten. Schließen Sie den Tab, und der Bericht ist weg.
Welche Log-Formate funktionieren?
Das Combined-Format, das nginx standardmäßig und auch Apache verwendet, sowie HTTP-Request-Logs von Cloudflare Logpush als NDJSON. Schreibt Ihr Server das Common Log Format, fehlt darin der User-Agent; stellen Sie es dann zuerst auf Combined um. Wie das geht, zeigt unser Leitfaden zu Besuchen von KI-Crawlern.
Was bedeutet Impostor?
Der User-Agent gibt sich als KI-Crawler aus, aber die IP-Adresse liegt außerhalb der Bereiche, die sein Betreiber veröffentlicht. Das ist das übliche Zeichen einer Fälschung, eines Scrapers, der den Namen borgt. Es kann auch ein echter Crawler in einem erst kürzlich ergänzten Bereich sein, sehen Sie es also als Hinweis, nicht als Urteil.
Warum erscheint ein Crawler als nicht verifizierbar?
Sein Betreiber veröffentlicht keine maschinenlesbare Adressliste, oder wir konnten sie nicht laden. Die Treffer werden dann gezählt, aber allein aus dem Log lässt sich nicht erkennen, ob sie echt sind. Ein Reverse-DNS-Lookup kann das, und der Leitfaden erklärt, wie.
Warum fehlen manche KI-Besuche in meinem Log?
Seiten, die aus einem CDN-Cache kommen, erreichen Ihren Origin-Server nie und stehen deshalb nicht in dessen Log. Läuft Ihre Domain bei Cloudflare ohne Proxy oder protokollieren Sie an anderer Stelle, erscheinen die Anfragen des Crawlers ebenfalls nicht. Verwenden Sie das Log der Stelle, die die Anfragen tatsächlich erhält.