Validateur et testeur robots.txt
Récupérez le robots.txt d’un site ou collez le vôtre. Voyez chaque erreur par ligne, testez n’importe quelle URL et vérifiez quels robots peuvent entrer.
Résultats
Récupérez un robots.txt ou collez-en un pour voir ses problèmes et les robots qu’il laisse entrer.
Le validateur lit le robots.txt ligne par ligne, comme le font Google et les autres robots. Il signale les lignes que les robots ignorent, les règles qui ne correspondent jamais, les règles qui masquent le CSS et le JavaScript à Google, et les lignes que Google ne prend pas en charge, comme Noindex et Crawl-delay.
L’absence de robots.txt (HTTP 404) n’est pas un problème : les robots y voient l’autorisation de tout explorer. Une erreur serveur (HTTP 5xx) est pire. Google la traite comme « tout interdire » et cesse d’explorer jusqu’à ce que le fichier se charge de nouveau.
Les lignes Content-Signal sont valides. Elles indiquent comment votre contenu peut servir à la recherche, aux réponses IA et à l’entraînement des IA ; le validateur vérifie donc seulement que leurs valeurs sont yes ou no.
Questions
Comment tester mon robots.txt ?
Saisissez votre domaine ou collez le fichier. Ajoutez ensuite des chemins sous Tester des URL et choisissez un robot. Chaque chemin affiche Autorisé ou Bloqué, avec la règle qui a tranché.
L’outil de test robots.txt de Google a disparu. Que puis-je utiliser ?
Google a retiré cet outil de la Search Console en 2023. Son rapport robots.txt n’affiche que les fichiers récupérés par Google. Cette page teste vos règles sur n’importe quel chemin et robot, comme l’ancien outil.
Quand Allow et Disallow correspondent tous deux, lequel l’emporte ?
La règle au chemin le plus long l’emporte. À longueur égale, Allow l’emporte. Ainsi, Disallow: /blog avec Allow: /blog/public laisse les robots entrer dans /blog/public et les tient à l’écart du reste de /blog.
Disallow garde-t-il une page hors de Google ?
Non. Disallow bloque l’exploration, pas l’indexation. Google peut encore lister une URL bloquée si d’autres pages y renvoient. Pour garder une page hors de l’index, autorisez l’exploration et ajoutez une balise meta noindex ou un en-tête X-Robots-Tag.
Comment bloquer les robots d’IA ?
Donnez à chaque robot son propre groupe, par exemple User-agent: GPTBot suivi de Disallow: /. Les robots d’entraînement et ceux de la recherche IA sont distincts : ne bloquez que ceux que vous visez. La couverture des robots montre le résultat pour chacun.
Une erreur serveur sur robots.txt est-elle pire qu’un 404 ?
Oui. Un 404 signifie qu’il n’y a aucune règle, donc les robots peuvent tout explorer. Un 5xx signifie que le fichier n’a pas pu être lu, et Google considère tout le site comme interdit. Corrigez d’abord les erreurs serveur sur robots.txt.