robots.txt-Checker für KI-Bots

Q: Entfernt das Blockieren von GPTBot meine Website aus der ChatGPT-Suche?

Nein. GPTBot sammelt Trainingsdaten. Die ChatGPT-Suche nutzt OAI-SearchBot, und ChatGPT-User ruft eine Seite ab, wenn jemand danach fragt.

Q: Was ist Content-Signal?

Eine Zeile in der robots.txt, die festlegt, wie deine Inhalte genutzt werden dürfen: für die Suche, für KI-Antworten und für KI-Training.

Gib eine Domain ein und sieh, was ihre robots.txt KI-Crawlern, KI-Such-Bots und Browsing-Agenten sagt.

KI-Unternehmen betreiben mehrere Bots mit unterschiedlichen Aufgaben. Manche sammeln Trainingsdaten, andere rufen Seiten für die KI-Suche ab oder wenn jemand nach einer Seite fragt.

Wer einen blockiert, blockiert nicht die anderen. GPTBot sammelt Trainingsdaten, die ChatGPT-Suche nutzt dagegen OAI-SearchBot, also prüfe sie getrennt.

Fragen

Entfernt das Blockieren von `GPTBot` meine Website aus der ChatGPT-Suche?

Nein. GPTBot sammelt Trainingsdaten. Die ChatGPT-Suche nutzt OAI-SearchBot, und ChatGPT-User ruft eine Seite ab, wenn jemand danach fragt.

Was ist `Content-Signal`?

Eine Zeile in der robots.txt, die festlegt, wie deine Inhalte genutzt werden dürfen: für die Suche, für KI-Antworten und für KI-Training.