Servi un robots.txt valido
Ogni crawler e agente AI chiede /robots.txt prima di qualsiasi altra cosa. Se il file manca non è un problema, ma se restituisce l’HTML della shell della tua app, o un errore 5xx, i bot devono indovinare cosa possono scaricare.
Restituisci testo semplice con stato 200, un gruppo User-agent per ogni insieme di regole e una riga Sitemap:.
SagBot legge il tuo /robots.txt: il codice di stato, il content type e se le regole vengono interpretate correttamente.
Fai entrare i bot di ricerca e degli assistenti AI
Bloccare GPTBot per tenere i tuoi contenuti fuori dall’addestramento è una scelta di policy. Bloccare OAI-SearchBot, PerplexityBot o ChatGPT-User di solito è un errore, e significa che il tuo sito non può essere citato né linkato nelle loro risposte.
Verifica che un Disallow: / generico per * non blocchi anche gli user agent di ricerca e degli utenti che volevi ammettere.
SagBot legge le regole del tuo /robots.txt per ogni user agent AI di ricerca e degli utenti che conosce.
Indica ai bot una sitemap
Una sitemap elenca tutte le pagine, così i crawler non devono scoprirle un link alla volta. Dichiarala nel robots.txt, così i bot la trovano senza dover indovinare il percorso.
SagBot legge la tua sitemap (quella dichiarata nel robots.txt, oppure /sitemap.xml) e quanti URL elenca.
Pubblica un llms.txt
/llms.txt è un breve file Markdown: il nome del tuo sito, un riassunto di un paragrafo, poi i link alle pagine che contano, ciascuno con una riga di contesto. Dà a un modello la stessa mappa che una persona ricava dalla tua navigazione.
SagBot legge il tuo /llms.txt: se esiste ed è testo e non una pagina HTML.
Rispondi ad Accept: text/markdown con Markdown
Gli agenti che scaricano le tue pagine pagano a token. Quando una richiesta indica Accept: text/markdown, restituisci la stessa pagina in Markdown e aggiungi Vary: Accept così le cache tengono separate le due versioni.
SagBot legge la risposta del tuo sito a una richiesta con Accept: text/markdown: il content type e l’header Vary.
Invia header Link
Un header di risposta Link può indirizzare gli agenti al tuo llms.txt, al tuo catalogo API o alla versione Markdown prima che leggano un solo byte di HTML, per esempio Link: </llms.txt>; rel="describedby"; type="text/markdown".
SagBot legge l’header Link nella risposta del tuo sito.
Se gestisci dei bot, pubblica una directory di chiavi
Web Bot Auth permette ai siti di verificare che una richiesta arrivi davvero dal tuo bot: firmi le richieste e pubblichi le tue chiavi pubbliche in /.well-known/http-message-signatures-directory. Saltalo se non gestisci un crawler o un agente; SagBot lo mostra come consiglio, non nel punteggio.
SagBot legge /.well-known/http-message-signatures-directory sul tuo sito.
Scopri quali di questi controlli supera il tuo sito
Ogni controllo non superato include una correzione scritta per un agente di coding: incollala in Claude Code, Cursor o Copilot.