Валідатор і тестер robots.txt
Завантажте robots.txt сайту або вставте власний. Побачите кожну помилку за рядком, протестуєте будь-який URL і дізнаєтеся, яких краулерів пускає файл.
Результати
Завантажте robots.txt або вставте його, щоб побачити проблеми й те, яких краулерів він пускає.
Валідатор читає robots.txt рядок за рядком, як це роблять Google та інші краулери. Він позначає рядки, які краулери ігнорують, правила, що ніколи не спрацьовують, правила, які ховають CSS і JavaScript від Google, та рядки, яких Google не підтримує, як-от Noindex і Crawl-delay.
Відсутній robots.txt (HTTP 404) не проблема: краулери сприймають це як дозвіл сканувати все. Помилка сервера (HTTP 5xx) гірша. Google трактує її як «заборонити все» й припиняє сканування, доки файл знову не завантажиться.
Рядки Content-Signal допустимі. Вони визначають, як можна використовувати ваш контент для пошуку, відповідей ШІ й навчання ШІ, тому валідатор лише перевіряє, що їхні значення — yes або no.
Запитання
Як протестувати мій robots.txt?
Введіть домен або вставте файл. Потім додайте шляхи в розділі «Тест URL» і виберіть краулер. Для кожного шляху буде показано «Дозволено» або «Заблоковано» та правило, яке це вирішило.
Тестер robots.txt від Google зник. Чим його замінити?
Google вивів тестер із Search Console у 2023 році. Його звіт robots.txt лише показує файли, які завантажив Google. Ця сторінка перевіряє ваші правила для будь-якого шляху й краулера, як це робив старий тестер.
Якщо збігаються Allow і Disallow, яке з них діє?
Перемагає правило з довшим шляхом. Якщо довжина однакова, перемагає Allow. Тож Disallow: /blog разом з Allow: /blog/public пускає краулерів до /blog/public і не пускає в решту /blog.
Чи ховає Disallow сторінку від Google?
Ні. Disallow забороняє сканування, а не індексацію. Google може показувати заблокований URL, якщо на нього посилаються інші сторінки. Щоб сторінки не було в пошуку, дозвольте сканування й додайте мета-тег noindex або заголовок X-Robots-Tag.
Як заблокувати ШІ-краулери?
Дайте кожному краулеру окрему групу, наприклад User-agent: GPTBot, а далі Disallow: /. Краулери для навчання й краулери ШІ-пошуку — різні боти, тож блокуйте лише потрібних. «Покриття краулерів» показує результат для кожного.
Чи помилка сервера на robots.txt гірша за 404?
Так. 404 означає, що правил немає, тож краулери можуть сканувати все. 5xx означає, що файл не вдалося прочитати, і Google вважає весь сайт забороненим. Спершу виправляйте помилки сервера на robots.txt.