Serwuj robots.txt, który da się sparsować
Każdy crawler i agent AI prosi o /robots.txt przed czymkolwiek innym. Brak pliku to nie problem, ale jeśli zwraca HTML z powłoki aplikacji albo błąd 5xx, boty muszą zgadywać, co mogą pobierać.
Zwracaj zwykły tekst ze statusem 200, jedną grupę User-agent na zestaw reguł i linię Sitemap:.
SagBot czyta Twój /robots.txt: kod statusu, typ treści i to, czy reguły da się sparsować.
Wpuść boty wyszukiwarek AI i asystentów
Zablokowanie GPTBot, by treści nie trafiały do trenowania modeli, to kwestia polityki treści. Zablokowanie OAI-SearchBot, PerplexityBot lub ChatGPT-User zwykle jest wpadką i oznacza, że Twojej strony nie da się zacytować ani podlinkować w ich odpowiedziach.
Upewnij się, że ogólne Disallow: / dla * nie obejmuje agentów wyszukiwania i użytkowników, które mają mieć wstęp.
SagBot czyta reguły w Twoim /robots.txt dla każdego znanego mu agenta wyszukiwania i użytkownika AI.
Wskaż botom mapę witryny
Mapa witryny wymienia wszystkie strony, więc crawlery nie muszą ich odkrywać link po linku. Zadeklaruj ją w robots.txt, by boty znalazły ją bez zgadywania ścieżki.
SagBot czyta Twoją mapę witryny (tę z robots.txt albo /sitemap.xml) i liczbę adresów URL, które wymienia.
Opublikuj llms.txt
/llms.txt to krótki plik Markdown: nazwa strony, jednoakapitowe streszczenie, a potem linki do ważnych stron z linijką kontekstu przy każdym. Daje modelowi mapę, którą człowiek dostaje z Twojej nawigacji.
SagBot czyta Twój /llms.txt: czy istnieje i czy jest tekstem, a nie stroną HTML.
Na Accept: text/markdown odpowiadaj Markdownem
Agenci pobierający Twoje strony płacą za tokeny. Gdy żądanie zawiera Accept: text/markdown, zwróć tę samą stronę jako Markdown i dodaj Vary: Accept, by cache rozdzielały obie wersje.
SagBot czyta odpowiedź Twojej strony na żądanie z Accept: text/markdown: jej typ treści i nagłówek Vary.
Wysyłaj nagłówki Link
Nagłówek odpowiedzi Link może wskazać agentom Twój llms.txt, katalog API lub wersję Markdown, zanim sparsują choćby bajt HTML, na przykład Link: </llms.txt>; rel="describedby"; type="text/markdown".
SagBot czyta nagłówek Link w odpowiedzi Twojej strony.
Jeśli uruchamiasz boty, opublikuj katalog kluczy
Web Bot Auth pozwala stronom sprawdzić, że żądanie naprawdę pochodzi od Twojego bota: podpisujesz żądania i publikujesz klucze publiczne w /.well-known/http-message-signatures-directory. Pomiń to, jeśli nie prowadzisz crawlera ani agenta; SagBot pokazuje to jako radę, nie część wyniku.
SagBot czyta /.well-known/http-message-signatures-directory na Twojej stronie.
Sprawdź, które z nich Twoja strona zalicza
Do każdego niezaliczonego testu dostajesz poprawkę napisaną dla agenta programistycznego: wklej ją do Claude Code, Cursora lub Copilota.