Walidator i tester robots.txt
Pobierz robots.txt strony lub wklej własny. Zobacz każdy błąd w linii, przetestuj dowolny adres URL i sprawdź, które boty mają wstęp.
Wyniki
Pobierz robots.txt lub wklej własny, aby zobaczyć problemy i boty, które wpuszcza.
Walidator czyta robots.txt linia po linii, tak jak Google i inne boty. Wskazuje linie, które boty ignorują, reguły, które nigdy nie pasują, reguły ukrywające CSS i JavaScript przed Google oraz linie, których Google nie obsługuje, takie jak Noindex i Crawl-delay.
Brak robots.txt (HTTP 404) to nie problem: boty traktują to jako zgodę na skanowanie wszystkiego. Gorszy jest błąd serwera (HTTP 5xx). Google traktuje go jak „zablokuj wszystko” i wstrzymuje skanowanie, dopóki plik znów się nie wczyta.
Linie Content-Signal są poprawne. Określają, jak Twoje treści mogą być używane w wyszukiwaniu, odpowiedziach AI i treningu AI, więc walidator sprawdza tylko, czy ich wartości to yes lub no.
Pytania
Jak przetestować mój robots.txt?
Wpisz domenę lub wklej plik. Następnie dodaj ścieżki w sekcji Testuj adresy URL i wybierz bota. Każda ścieżka pokaże Dozwolone lub Zablokowane oraz regułę, która o tym zdecydowała.
Testera robots.txt od Google już nie ma. Czego mogę użyć?
Google wycofało tester z Search Console w 2023 roku. Raport robots.txt pokazuje tylko pliki pobrane przez Google. Ta strona testuje Twoje reguły na dowolnej ścieżce i bocie, tak jak dawny tester.
Gdy pasują zarówno Allow, jak i Disallow, która reguła wygrywa?
Wygrywa reguła z dłuższą ścieżką. Przy tej samej długości wygrywa Allow. Dlatego Disallow: /blog z Allow: /blog/public wpuszcza boty do /blog/public i trzyma je z dala od reszty /blog.
Czy Disallow usuwa stronę z Google?
Nie. Disallow blokuje skanowanie, a nie indeksowanie. Google może nadal pokazać zablokowany adres, jeśli linkują do niego inne strony. Aby strona nie trafiła do indeksu, zezwól na skanowanie i dodaj metaznacznik noindex lub nagłówek X-Robots-Tag.
Jak zablokować boty AI?
Daj każdemu botowi osobną grupę, na przykład User-agent: GPTBot, a potem Disallow: /. Boty trenujące i boty wyszukiwarek AI to osobne boty, więc blokuj tylko te, o które Ci chodzi. Pokrycie botów pokazuje wynik dla każdego z nich.
Czy błąd serwera przy robots.txt jest gorszy niż 404?
Tak. 404 oznacza brak reguł, więc boty mogą skanować wszystko. 5xx oznacza, że pliku nie udało się odczytać, a Google traktuje całą stronę jako zablokowaną. Najpierw napraw błędy serwera przy robots.txt.