Servez un robots.txt lisible
Chaque crawler et chaque agent IA demande /robots.txt avant toute autre chose. Un fichier absent ne pose pas de problème, mais un fichier qui renvoie du HTML depuis la coquille de votre app, ou une erreur 5xx, laisse les bots deviner ce qu’ils peuvent récupérer.
Renvoyez du texte brut avec un statut 200, un groupe User-agent par jeu de règles et une ligne Sitemap:.
SagBot lit votre /robots.txt : le code de statut, le type de contenu et si ses règles sont lisibles.
Laissez entrer les bots de recherche et d’assistance IA
Bloquer GPTBot pour garder votre contenu hors de l’entraînement est un choix de politique. Bloquer OAI-SearchBot, PerplexityBot ou ChatGPT-User est le plus souvent un accident : votre site ne pourra alors être ni cité ni lié dans leurs réponses.
Vérifiez qu’un Disallow: / général pour * n’englobe pas les agents de recherche et d’utilisateurs que vous vouliez autoriser.
SagBot lit les règles de votre /robots.txt pour chaque agent IA de recherche et d’utilisateur qu’il connaît.
Indiquez un sitemap aux bots
Un sitemap liste toutes les pages, pour que les crawlers n’aient pas à les découvrir de lien en lien. Déclarez-le dans robots.txt : les bots le trouvent sans deviner son chemin.
SagBot lit votre sitemap (celui que déclare robots.txt, ou /sitemap.xml) et le nombre d’URL qu’il liste.
Publiez un llms.txt
/llms.txt est un court fichier Markdown : le nom de votre site, un résumé d’un paragraphe, puis des liens vers les pages qui comptent, chacun avec une ligne de contexte. Il donne à un modèle le plan qu’un humain obtiendrait grâce à votre navigation.
SagBot lit votre /llms.txt : s’il existe et s’il s’agit de texte plutôt que d’une page HTML.
Répondez en Markdown à Accept: text/markdown
Les agents qui récupèrent vos pages paient au token. Quand une requête indique Accept: text/markdown, renvoyez la même page en Markdown et ajoutez Vary: Accept pour que les caches gardent les deux versions séparées.
SagBot lit la réponse de votre site à une requête avec Accept: text/markdown : son type de contenu et son en-tête Vary.
Envoyez des en-têtes Link
Un en-tête de réponse Link peut orienter les agents vers votre llms.txt, votre catalogue d’API ou votre version Markdown avant qu’ils n’analysent le moindre octet de HTML, par exemple Link: </llms.txt>; rel="describedby"; type="text/markdown".
SagBot lit l’en-tête Link de la réponse de votre site.
Si vous exploitez des bots, publiez un répertoire de clés
Web Bot Auth permet aux sites de vérifier qu’une requête vient bien de votre bot : vous signez les requêtes et publiez vos clés publiques à /.well-known/http-message-signatures-directory. Passez votre tour si vous n’exploitez ni crawler ni agent ; SagBot l’affiche comme conseil, hors score.
SagBot lit /.well-known/http-message-signatures-directory sur votre site.
Voyez lesquels votre site réussit
Chaque contrôle en échec est accompagné d’un correctif écrit pour un agent de code : collez-le dans Claude Code, Cursor ou Copilot.