Validador y probador de robots.txt
Obtén el robots.txt de un sitio o pega el tuyo. Mira cada error por línea, prueba cualquier URL y comprueba qué rastreadores pueden entrar.
Resultados
Obtén un robots.txt o pega uno para ver sus problemas y qué rastreadores deja entrar.
El validador lee el robots.txt línea por línea, como lo hacen Google y otros rastreadores. Señala las líneas que los rastreadores ignoran, las reglas que nunca coinciden, las reglas que ocultan CSS y JavaScript a Google y las líneas que Google no admite, como Noindex y Crawl-delay.
Que falte el robots.txt (HTTP 404) no es un problema: los rastreadores lo interpretan como permiso para rastrear todo. Un error del servidor (HTTP 5xx) es peor. Google lo trata como “no permitir nada” y deja de rastrear hasta que el archivo vuelva a cargarse.
Las líneas Content-Signal son válidas. Indican cómo puede usarse tu contenido para búsqueda, respuestas de IA y entrenamiento de IA, así que el validador solo comprueba que sus valores sean yes o no.
Preguntas
¿Cómo pruebo mi robots.txt?
Introduce tu dominio o pega el archivo. Luego añade rutas en Probar URLs y elige un rastreador. Cada ruta muestra Permitido o Bloqueado y la regla que lo decidió.
La herramienta de prueba de robots.txt de Google ya no existe. ¿Qué puedo usar?
Google retiró el probador de Search Console en 2023. Su informe de robots.txt solo muestra los archivos que Google obtuvo. Esta página prueba tus reglas con cualquier ruta y rastreador, como hacía el probador anterior.
Cuando coinciden Allow y Disallow, ¿cuál gana?
Gana la regla con la ruta más larga. Si miden lo mismo, gana Allow. Así, Disallow: /blog con Allow: /blog/public deja entrar a los rastreadores en /blog/public y los mantiene fuera del resto de /blog.
¿Disallow mantiene una página fuera de Google?
No. Disallow impide el rastreo, no la indexación. Google aún puede mostrar una URL bloqueada si otras páginas enlazan a ella. Para mantener una página fuera, permite el rastreo y añade una metaetiqueta noindex o la cabecera X-Robots-Tag.
¿Cómo bloqueo los rastreadores de IA?
Da a cada rastreador su propio grupo, por ejemplo User-agent: GPTBot seguido de Disallow: /. Los rastreadores de entrenamiento y los de búsqueda con IA son bots distintos, así que bloquea solo los que quieras. La cobertura de rastreadores muestra el resultado de cada uno.
¿Un error del servidor en robots.txt es peor que un 404?
Sí. Un 404 significa que no hay reglas, así que los rastreadores pueden rastrear todo. Un 5xx significa que no se pudo leer el archivo, y Google trata todo el sitio como no permitido. Corrige primero los errores del servidor en robots.txt.