Verificador de robots.txt para bots de IA
Introduce un dominio para ver qué dice su robots.txt a los rastreadores de IA, a los bots de búsqueda con IA y a los agentes de navegación.
Las empresas de IA usan varios bots con funciones distintas. Unos recopilan datos de entrenamiento y otros descargan páginas para la búsqueda con IA o cuando alguien pregunta por una página.
Bloquear uno no bloquea a los demás. GPTBot recopila datos de entrenamiento, mientras que la búsqueda de ChatGPT usa OAI-SearchBot, así que revísalos por separado.
Preguntas
¿Bloquear GPTBot quita mi sitio de la búsqueda de ChatGPT?
No. GPTBot recopila datos de entrenamiento. La búsqueda de ChatGPT usa OAI-SearchBot, y ChatGPT-User descarga una página cuando alguien pregunta por ella.
¿Qué es Content-Signal?
Una línea de robots.txt que indica cómo se puede usar tu contenido: para búsqueda, respuestas de IA y entrenamiento de IA.