Vérificateur robots.txt pour bots IA
Saisissez un domaine pour voir ce que son robots.txt dit aux crawlers IA, aux bots de recherche IA et aux agents de navigation.
Les entreprises d’IA exploitent plusieurs bots aux rôles différents. Certains collectent des données d’entraînement, d’autres récupèrent des pages pour la recherche IA ou quand quelqu’un pose une question sur une page.
Bloquer l’un ne bloque pas les autres. GPTBot collecte des données d’entraînement, alors que la recherche ChatGPT utilise OAI-SearchBot : vérifiez-les séparément.
Questions
Bloquer GPTBot retire-t-il mon site de la recherche ChatGPT ?
Non. GPTBot collecte des données d’entraînement. La recherche ChatGPT utilise OAI-SearchBot, et ChatGPT-User récupère une page quand quelqu’un la demande.
Qu’est-ce que Content-Signal ?
Une ligne de robots.txt qui indique comment votre contenu peut être utilisé : pour la recherche, les réponses IA et l’entraînement IA.