Sirva um robots.txt que seja interpretado
Todo rastreador e agente de IA pede /robots.txt antes de qualquer outra coisa. Um arquivo ausente não é problema, mas um que devolve o HTML do shell do app, ou um 5xx, deixa os bots sem saber o que podem acessar.
Devolva texto simples com status 200, um grupo User-agent por conjunto de regras e uma linha Sitemap:.
O SagBot lê seu /robots.txt: o código de status, o tipo de conteúdo e se as regras são interpretadas.
Deixe entrar os bots de busca e de assistentes de IA
Bloquear o GPTBot para manter seu conteúdo fora do treinamento é uma decisão de política. Bloquear o OAI-SearchBot, o PerplexityBot ou o ChatGPT-User costuma ser um acidente, e significa que seu site não pode ser citado nem receber links nas respostas deles.
Confira se um Disallow: / amplo para * não pega os agentes de busca e de usuário que você queria permitir.
O SagBot lê as regras do seu /robots.txt para cada agente de busca e de usuário de IA que ele conhece.
Indique um sitemap aos bots
Um sitemap lista todas as páginas para que os rastreadores não precisem descobri-las seguindo link por link. Declare-o no robots.txt para os bots o encontrarem sem adivinhar o caminho.
O SagBot lê seu sitemap (o declarado no robots.txt ou /sitemap.xml) e quantas URLs ele lista.
Publique um llms.txt
O /llms.txt é um arquivo Markdown curto: o nome do site, um resumo de um parágrafo e depois links para as páginas que importam, cada um com uma linha de contexto. Ele dá ao modelo o mapa que uma pessoa teria pela sua navegação.
O SagBot lê seu /llms.txt: se ele existe e se é texto, não uma página HTML.
Responda Accept: text/markdown com Markdown
Agentes que buscam suas páginas pagam por token. Quando a requisição traz Accept: text/markdown, devolva a mesma página em Markdown e acrescente Vary: Accept para que os caches mantenham as duas versões separadas.
O SagBot lê a resposta do seu site a uma requisição com Accept: text/markdown: o tipo de conteúdo e o cabeçalho Vary.
Envie cabeçalhos Link
Um cabeçalho de resposta Link pode apontar os agentes para o seu llms.txt, catálogo de APIs ou versão em Markdown antes de eles lerem um byte de HTML, por exemplo Link: </llms.txt>; rel="describedby"; type="text/markdown".
O SagBot lê o cabeçalho Link na resposta do seu site.
Se você opera bots, publique um diretório de chaves
O Web Bot Auth permite que os sites verifiquem se uma requisição vem mesmo do seu bot: você assina as requisições e publica suas chaves públicas em /.well-known/http-message-signatures-directory. Pule se você não opera um rastreador ou agente; o SagBot mostra isso como conselho, não como parte da pontuação.
O SagBot lê /.well-known/http-message-signatures-directory no seu site.
Veja quais dessas seu site cumpre
Cada verificação reprovada vem com uma correção escrita para um agente de programação: cole no Claude Code, Cursor ou Copilot.