Віддавайте robots.txt, який розбирається
Кожен краулер і ШІ-агент спершу запитує /robots.txt. Якщо файлу немає, це нормально, але якщо замість нього приходить HTML оболонки застосунку чи помилка 5xx, боти лише гадають, що їм можна завантажувати.
Віддавайте простий текст зі статусом 200, по одній групі User-agent на набір правил і рядок Sitemap:.
SagBot читає ваш /robots.txt: код статусу, тип вмісту і чи розбираються його правила.
Пустіть ШІ-пошук і асистентів
Заблокувати GPTBot, щоб ваш контент не потрапляв у навчання, — це вибір політики. А ось блокування OAI-SearchBot, PerplexityBot чи ChatGPT-User найчастіше буває випадковим, і через нього ваш сайт не можуть цитувати чи згадувати з посиланням у їхніх відповідях.
Переконайтеся, що широке Disallow: / для * не зачіпає пошукових ботів і ботів користувачів, яким ви хотіли дозволити доступ.
SagBot читає правила у вашому /robots.txt для кожного відомого йому ШІ-бота пошуку й агента користувача.
Вкажіть ботам карту сайту
Карта сайту перелічує всі сторінки, тож краулерам не доводиться шукати їх, переходячи за посиланнями. Вкажіть її в robots.txt, щоб боти знаходили її, не вгадуючи адресу.
SagBot читає вашу карту сайту (ту, що вказано в robots.txt, або /sitemap.xml) і кількість URL у ній.
Опублікуйте llms.txt
/llms.txt — це короткий файл Markdown: назва сайту, абзац із підсумком і посилання на важливі сторінки, до кожного з яких додано рядок пояснення. Він дає моделі ту мапу, яку людина отримала б із навігації.
SagBot читає ваш /llms.txt: чи він існує і чи це текст, а не HTML-сторінка.
Відповідайте Markdown на Accept: text/markdown
Агенти, що завантажують ваші сторінки, платять за токени. Якщо в запиті є Accept: text/markdown, віддайте ту саму сторінку у форматі Markdown і додайте Vary: Accept, щоб кеші зберігали ці дві версії окремо.
SagBot читає відповідь вашого сайту на запит із Accept: text/markdown: тип вмісту і заголовок Vary.
Надсилайте заголовки Link
Заголовок відповіді Link може вказати агентам на ваш llms.txt, каталог API чи Markdown-версію ще до того, як вони розберуть бодай байт HTML, наприклад Link: </llms.txt>; rel="describedby"; type="text/markdown".
SagBot читає заголовок Link у відповіді вашого сайту.
Якщо ви запускаєте ботів, опублікуйте каталог ключів
Web Bot Auth дає сайтам змогу перевірити, що запит справді надійшов від вашого бота: ви підписуєте запити й публікуєте відкриті ключі за адресою /.well-known/http-message-signatures-directory. Якщо ви не керуєте краулером чи агентом, пропустіть це: SagBot показує цю перевірку як пораду, а не як частину оцінки.
SagBot читає /.well-known/http-message-signatures-directory на вашому сайті.
Подивіться, що з цього проходить ваш сайт
До кожної непройденої перевірки є виправлення, написане для агента програмування: вставте його в Claude Code, Cursor або Copilot.