Sirve un robots.txt que se pueda interpretar
Todo rastreador y agente de IA pide /robots.txt antes que nada. Que falte el archivo no es un problema, pero si devuelve el HTML de tu app o un 5xx, los bots no saben qué pueden descargar.
Devuelve texto plano con un 200, un grupo User-agent por cada conjunto de reglas y una línea Sitemap:.
SagBot lee tu /robots.txt: el código de estado, el tipo de contenido y si sus reglas se interpretan.
Deja entrar a los bots de búsqueda y de asistentes de IA
Bloquear GPTBot para que tu contenido no se use en entrenamiento es una decisión de política. Bloquear OAI-SearchBot, PerplexityBot o ChatGPT-User suele ser un descuido, y significa que tu sitio no puede citarse ni enlazarse en sus respuestas.
Comprueba que un Disallow: / genérico para * no afecte a los agentes de búsqueda y de usuario que querías permitir.
SagBot lee las reglas de tu /robots.txt para cada agente de búsqueda y de usuario de IA que conoce.
Indica a los bots dónde está el sitemap
Un sitemap enumera todas las páginas para que los rastreadores no tengan que descubrirlas enlace a enlace. Decláralo en robots.txt para que los bots lo encuentren sin adivinar la ruta.
SagBot lee tu sitemap (el que declara robots.txt, o /sitemap.xml) y cuántas URL enumera.
Publica un llms.txt
/llms.txt es un archivo Markdown breve: el nombre de tu sitio, un resumen de un párrafo y enlaces a las páginas importantes, cada uno con una línea de contexto. Le da a un modelo el mapa que una persona sacaría de tu navegación.
SagBot lee tu /llms.txt: si existe y es texto en lugar de una página HTML.
Responde con Markdown a Accept: text/markdown
Los agentes que descargan tus páginas pagan por token. Cuando una solicitud dice Accept: text/markdown, devuelve la misma página en Markdown y añade Vary: Accept para que las cachés mantengan separadas las dos versiones.
SagBot lee la respuesta de tu sitio a una solicitud con Accept: text/markdown: su tipo de contenido y su encabezado Vary.
Envía encabezados Link
Un encabezado de respuesta Link puede dirigir a los agentes a tu llms.txt, tu catálogo de API o tu versión en Markdown antes de que lean un solo byte de HTML, por ejemplo Link: </llms.txt>; rel="describedby"; type="text/markdown".
SagBot lee el encabezado Link de la respuesta de tu sitio.
Si tienes bots, publica un directorio de claves
Web Bot Auth permite que los sitios verifiquen que una solicitud viene realmente de tu bot: firmas las solicitudes y publicas tus claves públicas en /.well-known/http-message-signatures-directory. Sáltatelo si no operas un rastreador ni un agente; SagBot lo muestra como consejo, no como parte de la puntuación.
SagBot lee /.well-known/http-message-signatures-directory en tu sitio.
Descubre cuáles de estas supera tu sitio
Cada verificación fallida incluye una corrección escrita para un agente de programación: pégala en Claude Code, Cursor o Copilot.