Аналізатор логів ШІ-краулерів
Перетягніть лог доступу сервера, щоб побачити, які ШІ-краулери відвідували ваш сайт, які з них прийшли з опублікованих адрес операторів і на яких сторінках їм траплялися помилки. Лог читається у вашому браузері й нікуди не завантажується.
Перетягніть сюди файли логів
або
Файли .log, .txt, .json та .gz. Кілька файлів читаються в один звіт.
Виберіть файл логу, щоб побачити звіт.
Аналізатор читає логи nginx і Apache у форматі combined та HTTP-логи Cloudflare Logpush (NDJSON). Підходять і звичайні файли, і .gz, а ротовані файли можна перетягнути одразу кілька. Дуже великі логи читаються потоком, тож сторінка не підвисає.
User-agent — лише назва, і надіслати GPTBot може будь-хто. Тому кожен візит ще й звіряється з IP-адресами, які публікує оператор. Візит із цих адрес вважається підтвердженим. Візит ззовні позначається, але це лише «не з опублікованих адрес»: оператори час від часу додають діапазони, а наша копія списку може відставати. Деякі оператори не публікують списку взагалі, і їхні візити лишаються непідтверджуваними.
Ваш лог залишається на вашому пристрої. Єдиний запит, який робить сторінка, — це завантаження публічних списків адрес операторів, і в ньому немає нічого з вашого логу.
Запитання
Чи завантажується мій лог до SagBot?
Ні. Файл читається й підраховується у вашому браузері. Завантажуються лише публічні списки IP-адрес операторів, і цей запит не містить даних логу. Закрийте вкладку, і звіт зникне.
Які формати логів підтримуються?
Формат combined, який nginx використовує за замовчуванням, а також Apache, і HTTP-логи Cloudflare Logpush у вигляді NDJSON. Якщо ваш сервер пише Common Log Format, у ньому немає user-agent, тож спершу перемкніть його на combined. Як це зробити, показує наш посібник про візити ШІ-краулерів.
Що означає impostor?
User-agent стверджує, що це ШІ-краулер, але IP-адреса поза діапазонами, які публікує його оператор. Це звичайна ознака підробки: скрапер, що підставляє чуже ім’я. Так може виглядати й справжній краулер із діапазону, який оператор додав нещодавно, тому сприймайте це як підказку, а не вирок.
Чому краулер позначений як непідтверджуваний?
Його оператор не публікує машинозчитуваного списку адрес, або ми не змогли його завантажити. Візити тоді підраховуються, але лише за логом не зрозуміти, справжні вони чи ні. Це можна перевірити зворотним DNS-запитом, і посібник пояснює, як.
Чому в моєму логу немає частини візитів ШІ?
Сторінки, які віддає кеш CDN, до вашого origin не доходять, тому в його логу їх немає. Якщо ваш домен у Cloudflare не проксюється або ви ведете лог деінде, запити краулера теж не з’являться. Беріть лог із того вузла, який справді приймає запити.