Liefere eine robots.txt, die sich parsen lässt
Jeder Crawler und KI-Agent fragt zuerst nach /robots.txt. Eine fehlende Datei ist in Ordnung, aber eine, die HTML aus deiner App-Shell oder einen 5xx-Fehler zurückgibt, lässt Bots raten, was sie abrufen dürfen.
Liefere reinen Text mit Status 200, eine User-agent-Gruppe pro Regelsatz und eine Sitemap:-Zeile.
SagBot liest deine /robots.txt: den Statuscode, den Content-Type und ob sich ihre Regeln parsen lassen.
Lass KI-Such- und Assistenz-Bots hinein
GPTBot zu blockieren, damit deine Inhalte nicht ins Training fließen, ist eine bewusste Entscheidung. OAI-SearchBot, PerplexityBot oder ChatGPT-User zu blockieren, ist meist ein Versehen, und deine Website kann dann in deren Antworten weder zitiert noch verlinkt werden.
Prüfe, dass ein pauschales Disallow: / für * nicht auch die Such- und Nutzer-Agenten erwischt, die du zulassen wolltest.
SagBot liest die Regeln in deiner /robots.txt für jeden ihm bekannten KI-Such- und Nutzer-Agenten.
Verweise Bots auf eine Sitemap
Eine Sitemap listet jede Seite auf, damit Crawler sie nicht Link für Link entdecken müssen. Gib sie in der robots.txt an, dann finden Bots sie, ohne den Pfad zu raten.
SagBot liest deine Sitemap (die aus der robots.txt oder /sitemap.xml) und wie viele URLs sie enthält.
Veröffentliche eine llms.txt
/llms.txt ist eine kurze Markdown-Datei: der Name deiner Website, eine Zusammenfassung in einem Absatz, dann Links zu den wichtigen Seiten mit je einer Zeile Kontext. Sie gibt einem Modell die Orientierung, die ein Mensch über deine Navigation bekäme.
SagBot liest deine /llms.txt: ob sie existiert und Text statt einer HTML-Seite ist.
Beantworte Accept: text/markdown mit Markdown
Agenten, die deine Seiten abrufen, zahlen pro Token. Wenn eine Anfrage Accept: text/markdown sendet, liefere dieselbe Seite als Markdown und setze Vary: Accept, damit Caches die beiden Versionen auseinanderhalten.
SagBot liest die Antwort deiner Website auf eine Anfrage mit Accept: text/markdown: Content-Type und Vary-Header.
Sende Link-Header
Ein Link-Antwortheader kann Agenten auf deine llms.txt, deinen API-Katalog oder die Markdown-Version verweisen, noch bevor sie ein Byte HTML parsen, zum Beispiel Link: </llms.txt>; rel="describedby"; type="text/markdown".
SagBot liest den Link-Header in der Antwort deiner Website.
Betreibst du Bots, veröffentliche ein Schlüsselverzeichnis
Mit Web Bot Auth können Websites prüfen, dass eine Anfrage wirklich von deinem Bot stammt: Du signierst Anfragen und veröffentlichst deine öffentlichen Schlüssel unter /.well-known/http-message-signatures-directory. Überspringe es, wenn du keinen Crawler oder Agenten betreibst. SagBot zeigt es als Empfehlung, nicht als Teil des Scores.
SagBot liest /.well-known/http-message-signatures-directory auf deiner Website.
Sieh, welche davon deine Website besteht
Zu jedem fehlgeschlagenen Check gibt es einen Fix für Coding-Agenten: Füge ihn in Claude Code, Cursor oder Copilot ein.