Come funziona SagBot

SagBot è il fetcher dietro sagbot.app. Visita un sito solo quando qualcuno ne chiede una scansione, legge pochi file pubblici e se ne va. Niente crawling, nessuna pianificazione.

Come riconoscerlo

Ogni richiesta porta questo User-Agent, così puoi trovare SagBot nei log del tuo server:

GET /robots.txt HTTP/1.1
User-Agent: SagBot/1.0 (+https://sagbot.app/bot)

Cosa legge

Una scansione fa al massimo queste richieste:

/robots.txt: Sempre la prima richiesta. Se esclude SagBot, non viene letto nient’altro.
/: La tua homepage, in HTML.
/: Di nuovo la tua homepage, questa volta chiedendola in Markdown (Accept: text/markdown).
/sitemap.xml: Le sitemap elencate in robots.txt (fino a tre), poi /sitemap.xml, finché una non si carica.
/llms.txt: I tuoi llms.txt e llms-full.txt, se esistono.
/.well-known/*: File di discovery per agenti come api-catalog, metadati OAuth/OpenID, MCP server card, agent-card.json e ai-catalog.json.

Se la tua homepage reindirizza a un altro sito, SagBot scansiona quel sito, partendo dalla sua homepage e rispettando il suo robots.txt. Tutte le altre richieste restano sul sito scansionato: i reindirizzamenti altrove vengono rifiutati. SagBot non segue mai link, non invia moduli, non esegue JavaScript e non legge nulla che stia dietro un login.

Quando visita

Solo quando qualcuno avvia una scansione. Niente crawling e nessuna pianificazione. Una scansione completata viene riusata per un’ora, quindi le nuove scansioni del tuo sito in quell’ora non raggiungono il tuo server. Solo una nuova scansione manuale legge di nuovo, e al massimo una volta ogni due minuti.

Limiti rigidi

Solo richieste GET e HEAD
Abbandona una richiesta dopo 8 secondi
Smette di leggere una risposta dopo 2 MB
Solo hostname pubblici: niente indirizzi IP, reti private o porte personalizzate

Escludi SagBot

Non vuoi SagBot sul tuo sito? Aggiungi questo al tuo robots.txt:

User-agent: SagBot
Disallow: /

SagBot legge robots.txt prima di tutto, quindi dopo questa modifica non fa nessun’altra richiesta al tuo sito. Chi prova a scansionare il tuo sito vede “Impossibile scansionare — il sito ha escluso SagBot”.

Conta solo un gruppo dedicato a SagBot. Un blocco User-agent: * su tutto il sito non ti esclude, perché di solito è lì per errore.

Contatti

Vedi traffico che non ti aspettavi o hai una domanda? Scrivi a bot@sagbot.app indicando il tuo dominio e più o meno quando sono arrivate le richieste.