[{"data":1,"prerenderedAt":95},["ShallowReactive",2],{"tool-robots-txt-validator-uk":3},{"common":4,"copy":13},{"hubLink":5,"resultTitle":6,"fix":7,"fullTitle":8,"fullText":9,"fullCta":10,"faqTitle":11,"waiting":12},"Усі безкоштовні інструменти","Результати для {host}","Як це виправити","Подивіться, як ШІ читає цей сайт","Запустіть безкоштовне повне сканування {host}, щоб отримати обидві оцінки готовності до ШІ та всі виправлення.","Просканувати цей сайт","Запитання","Тестуємо {host}. Це може зайняти кілька хвилин, тож не закривайте цю сторінку.",{"name":14,"title":15,"description":16,"h1":17,"lede":18,"empty":19,"labels":20,"about":21,"faq":25,"robots":44},"Валідатор robots.txt","Валідатор і тестер robots.txt: перевірка кожного правила","Перевірте robots.txt за URL або вставте його. Знайдіть помилки синтаксису й мертві правила, протестуйте URL і дізнайтеся, яких ботів він блокує.","Валідатор і тестер robots.txt","Завантажте robots.txt сайту або вставте власний. Побачите кожну помилку за рядком, протестуєте будь-який URL і дізнаєтеся, яких краулерів пускає файл.","",{},[22,23,24],"Валідатор читає robots.txt рядок за рядком, як це роблять Google та інші краулери. Він позначає рядки, які краулери ігнорують, правила, що ніколи не спрацьовують, правила, які ховають CSS і JavaScript від Google, та рядки, яких Google не підтримує, як-от Noindex і Crawl-delay.","Відсутній robots.txt (HTTP 404) не проблема: краулери сприймають це як дозвіл сканувати все. Помилка сервера (HTTP 5xx) гірша. Google трактує її як «заборонити все» й припиняє сканування, доки файл знову не завантажиться.","Рядки Content-Signal допустимі. Вони визначають, як можна використовувати ваш контент для пошуку, відповідей ШІ й навчання ШІ, тому валідатор лише перевіряє, що їхні значення — yes або no.",[26,29,32,35,38,41],{"q":27,"a":28},"Як протестувати мій robots.txt?","Введіть домен або вставте файл. Потім додайте шляхи в розділі «Тест URL» і виберіть краулер. Для кожного шляху буде показано «Дозволено» або «Заблоковано» та правило, яке це вирішило.",{"q":30,"a":31},"Тестер robots.txt від Google зник. Чим його замінити?","Google вивів тестер із Search Console у 2023 році. Його звіт robots.txt лише показує файли, які завантажив Google. Ця сторінка перевіряє ваші правила для будь-якого шляху й краулера, як це робив старий тестер.",{"q":33,"a":34},"Якщо збігаються Allow і Disallow, яке з них діє?","Перемагає правило з довшим шляхом. Якщо довжина однакова, перемагає Allow. Тож Disallow: \u002Fblog разом з Allow: \u002Fblog\u002Fpublic пускає краулерів до \u002Fblog\u002Fpublic і не пускає в решту \u002Fblog.",{"q":36,"a":37},"Чи ховає Disallow сторінку від Google?","Ні. Disallow забороняє сканування, а не індексацію. Google може показувати заблокований URL, якщо на нього посилаються інші сторінки. Щоб сторінки не було в пошуку, дозвольте сканування й додайте мета-тег noindex або заголовок X-Robots-Tag.",{"q":39,"a":40},"Як заблокувати ШІ-краулери?","Дайте кожному краулеру окрему групу, наприклад User-agent: GPTBot, а далі Disallow: \u002F. Краулери для навчання й краулери ШІ-пошуку — різні боти, тож блокуйте лише потрібних. «Покриття краулерів» показує результат для кожного.",{"q":42,"a":43},"Чи помилка сервера на robots.txt гірша за 404?","Так. 404 означає, що правил немає, тож краулери можуть сканувати все. 5xx означає, що файл не вдалося прочитати, і Google вважає весь сайт забороненим. Спершу виправляйте помилки сервера на robots.txt.",{"modeLegend":45,"modeFetch":46,"modePaste":47,"domainLabel":48,"domainPlaceholder":49,"fetch":50,"fetching":51,"pasteLabel":52,"pastePlaceholder":53,"pasteHint":54,"resultTitle":55,"empty":56,"pasted":57,"lines":58,"verdict":59,"counts":63,"severity":68,"line":71,"file":72,"noIssues":73,"sitemapsTitle":67,"testTitle":74,"testLabel":75,"crawlerLabel":76,"allCrawlers":77,"allowed":78,"blocked":79,"byRule":80,"noRule":81,"coverageTitle":82,"coverageFor":83,"groups":84,"blockedCount":88,"serverError":89,"html":90,"missing":91,"unread":92,"blockedTld":93,"fullScan":94},"Джерело","Завантажити за URL","Вставити robots.txt","Домен","example.com","Перевірити","Завантаження...","Вміст robots.txt","User-agent: *\nDisallow: \u002Fadmin\nSitemap: https:\u002F\u002Fexample.com\u002Fsitemap.xml","Перевіряється у вашому браузері під час введення. До SagBot нічого не надсилається.","Результати","Завантажте robots.txt або вставте його, щоб побачити проблеми й те, яких краулерів він пускає.","Вставлений текст","Рядків: {n}",{"errors":60,"warnings":61,"valid":62},"Знайдено помилки","Коректний, є попередження для перегляду","Коректний",{"errors":64,"warnings":65,"groups":66,"sitemaps":67},"Помилки","Попередження","Групи правил","Sitemap",{"error":69,"warning":65,"note":70},"Помилка","Примітка","Рядок {n}","Увесь файл","Проблем не знайдено.","Тест URL","Шляхи або URL, по одному в рядок","Краулер","Усі краулери (*)","Дозволено","Заблоковано","{rule} (рядок {line})","Жодне правило не збіглося","Покриття краулерів","Перевірено для {path}",{"search":85,"ai":86,"seo":87},"Пошукові краулери","ШІ-краулери","SEO-краулери","Заблоковано {n} із {total}","Сервер відповів HTTP {status}. Краулери трактують це як «заборонити все», доки robots.txt знову не завантажиться.","robots.txt повертає HTML-сторінку, а не текстовий файл. Краулери не знаходять у ній правил.","robots.txt немає (HTTP {status}). Сайт не задає правил, тож усі краулери можуть сканувати все.","Не вдалося прочитати robots.txt: {reason}","SagBot не перевіряє домени цього TLD. Але ви можете вставити файл.","Запустити повне сканування {host}",1794386919884]