Validatore e tester robots.txt
Recupera il robots.txt di un sito o incolla il tuo. Vedi ogni errore per riga, testa qualsiasi URL e controlla quali crawler possono entrare.
Risultati
Recupera un robots.txt o incollane uno per vedere i problemi e quali crawler lascia entrare.
Il validatore legge il robots.txt riga per riga, come fanno Google e gli altri crawler. Segnala le righe che i crawler ignorano, le regole che non corrispondono mai, le regole che nascondono CSS e JavaScript a Google e le righe che Google non supporta, come Noindex e Crawl-delay.
Un robots.txt mancante (HTTP 404) non è un problema: i crawler lo interpretano come il permesso di scansionare tutto. Un errore del server (HTTP 5xx) è peggio. Google lo tratta come «vieta tutto» e smette di scansionare finché il file non si carica di nuovo.
Le righe Content-Signal sono valide. Indicano come i tuoi contenuti possono essere usati per la ricerca, le risposte AI e l’addestramento AI, quindi il validatore controlla solo che i valori siano yes o no.
Domande
Come testo il mio robots.txt?
Inserisci il dominio o incolla il file. Poi aggiungi i percorsi sotto Testa URL e scegli un crawler. Ogni percorso mostra Consentito o Bloccato e la regola che ha deciso.
Il tester robots.txt di Google non c’è più. Cosa posso usare?
Google ha ritirato il tester dalla Search Console nel 2023. Il suo report robots.txt mostra solo i file recuperati da Google. Questa pagina testa le tue regole su qualsiasi percorso e crawler, come faceva il vecchio tester.
Quando corrispondono sia Allow sia Disallow, quale vince?
Vince la regola con il percorso più lungo. A parità di lunghezza vince Allow. Quindi Disallow: /blog con Allow: /blog/public lascia entrare i crawler in /blog/public e li tiene fuori dal resto di /blog.
Disallow tiene una pagina fuori da Google?
No. Disallow impedisce la scansione, non l’indicizzazione. Google può comunque mostrare un URL bloccato se altre pagine puntano a esso. Per tenere fuori una pagina, consenti la scansione e aggiungi un meta tag noindex o l’header X-Robots-Tag.
Come blocco i crawler AI?
Dai a ogni crawler un gruppo a sé, per esempio User-agent: GPTBot seguito da Disallow: /. I crawler di addestramento e quelli di ricerca AI sono bot separati, quindi blocca solo quelli che intendi. La copertura dei crawler mostra il risultato per ciascuno.
Un errore del server su robots.txt è peggio di un 404?
Sì. Un 404 significa che non ci sono regole, quindi i crawler possono scansionare tutto. Un 5xx significa che il file non è leggibile e Google tratta l’intero sito come vietato. Correggi prima gli errori del server su robots.txt.