robots.txt-Validator und -Tester
Rufen Sie die robots.txt einer Website ab oder fügen Sie Ihre eigene ein. Sehen Sie jeden Fehler pro Zeile, testen Sie beliebige URLs und prüfen Sie, welche Crawler Zugang haben.
Ergebnisse
Rufen Sie eine robots.txt ab oder fügen Sie eine ein, um Probleme und erlaubte Crawler zu sehen.
Der Validator liest die robots.txt Zeile für Zeile, so wie Google und andere Crawler es tun. Er markiert Zeilen, die Crawler ignorieren, Regeln, die nie greifen, Regeln, die CSS und JavaScript vor Google verbergen, und Zeilen, die Google nicht unterstützt, etwa Noindex und Crawl-delay.
Eine fehlende robots.txt (HTTP 404) ist in Ordnung: Crawler verstehen das als Erlaubnis, alles zu crawlen. Ein Serverfehler (HTTP 5xx) ist schlimmer. Google behandelt ihn als „alles verbieten“ und crawlt nicht weiter, bis die Datei wieder lädt.
Content-Signal-Zeilen sind gültig. Sie legen fest, wie Ihre Inhalte für Suche, KI-Antworten und KI-Training verwendet werden dürfen, deshalb prüft der Validator nur, ob ihre Werte yes oder no sind.
Fragen
Wie teste ich meine robots.txt?
Geben Sie Ihre Domain ein oder fügen Sie die Datei ein. Fügen Sie dann unter URLs testen Pfade hinzu und wählen Sie einen Crawler. Jeder Pfad zeigt Erlaubt oder Blockiert und die Regel, die entschieden hat.
Das robots.txt-Testtool von Google gibt es nicht mehr. Was kann ich stattdessen nutzen?
Google hat das Tool 2023 aus der Search Console entfernt. Der robots.txt-Bericht zeigt nur die Dateien, die Google abgerufen hat. Diese Seite testet Ihre Regeln für jeden Pfad und Crawler, wie es das alte Tool getan hat.
Welche Regel gewinnt, wenn Allow und Disallow beide passen?
Die Regel mit dem längeren Pfad gewinnt. Sind beide gleich lang, gewinnt Allow. So lässt Disallow: /blog mit Allow: /blog/public Crawler in /blog/public und hält sie aus dem Rest von /blog fern.
Hält Disallow eine Seite aus Google heraus?
Nein. Disallow verhindert das Crawlen, nicht die Indexierung. Google kann eine blockierte URL trotzdem listen, wenn andere Seiten auf sie verlinken. Um eine Seite herauszuhalten, erlauben Sie das Crawlen und setzen Sie ein noindex-Meta-Tag oder einen X-Robots-Tag-Header.
Wie blockiere ich KI-Crawler?
Geben Sie jedem Crawler eine eigene Gruppe, zum Beispiel User-agent: GPTBot gefolgt von Disallow: /. Trainings-Crawler und KI-Such-Crawler sind getrennte Bots, blockieren Sie also nur die, die Sie meinen. Die Crawler-Abdeckung zeigt das Ergebnis für jeden.
Ist ein Serverfehler bei der robots.txt schlimmer als ein 404?
Ja. Ein 404 heißt, es gibt keine Regeln, Crawler dürfen also alles crawlen. Ein 5xx heißt, die Datei war nicht lesbar, und Google behandelt die ganze Website als gesperrt. Beheben Sie Serverfehler bei der robots.txt zuerst.