Tester robots.txt - Dozwolone czy zablokowane i dokładnie dlaczego
Plik robots.txt łatwo napisać, a trudno o nim rozumować. Ten tester odpowiada na jedyne pytanie, które ma znaczenie dla danego robota i adresu URL.
Jak korzystać z Testera robots.txt
- Wklej zawartość swojego robots.txt.
- Podaj pełny URL do przetestowania oraz nazwę user-agenta (Googlebot, GPTBot, *).
- Kliknij Testuj ten URL.
- Przeczytaj werdykt oraz pasującą regułę, która go wyprodukowała.
Jak to działa
Dopasowywanie podąża za standardem (RFC 9309, w implementacji Google): najpierw wybierana jest grupa robota - grupa nazywająca najbardziej szczegółowy pasujący token user-agenta wygrywa z grupą * - a potem, wewnątrz tej grupy, wygrywa reguła, której wzorzec ścieżki pasuje do ścieżki URL i jest najdłuższy; przy remisie Allow wygrywa z Disallow. Wzorce obsługują * jako symbol wieloznaczny oraz końcowy $ jako kotwicę końca. Puste Disallow nie pasuje do niczego, dlatego samo 'Disallow:' pozwala na wszystko.
Często zadawane pytania
Czy ten tester jest bezpłatny?
Tak - całkowicie za darmo, bez rejestracji.
Których reguł dopasowania przestrzega?
RFC 9309 / implementacja Google: najbardziej szczegółowa grupa agenta, najdłuższa pasująca reguła, Allow wygrywa remisy, obsługa wzorców * i $.
Mój URL jest tutaj zablokowany, ale zaindeksowany w Google - dlaczego?
Robots blokuje indeksowanie robocze (crawling), nie indeksowanie. Zablokowana strona nadal może zostać zaindeksowana z linków, pokazana bez opisu.
Czy pobiera mój aktywny robots.txt?
Nie - wklej treść. Przeglądarki nie mogą pobierać plików dowolnych witryn (CORS), a wklejanie pozwala też przetestować szkic przed opublikowaniem.
Czy cokolwiek jest przesyłane?
Nie. Testowanie działa w przeglądarce.