Logo Loona AutomationLoona Narzędzia deweloperskie
Strona główna › Narzędzia deweloperskie › Tester robots.txt

Tester robots.txt - Dozwolone czy zablokowane i dokładnie dlaczego

W skrócie: Tester robots.txt stosuje prawdziwe reguły dopasowania - najbardziej szczegółową grupę user-agent, potem najdłuższą pasującą regułę ścieżki, przy Allow wygrywającym remisy - i pokazuje werdykt oraz dokładną regułę, która o nim zdecydowała.

Plik robots.txt łatwo napisać, a trudno o nim rozumować. Ten tester odpowiada na jedyne pytanie, które ma znaczenie dla danego robota i adresu URL.

Prywatne z założenia: wszystko w tym narzędziu dzieje się w 100% w przeglądarce przy użyciu JavaScript. Dane wejściowe nigdy nie są przesyłane na serwer, nigdy nie są przechowywane i nigdy nie są przez nas widziane - zamknij kartę, a wszystko znika.

Jak korzystać z Testera robots.txt

  1. Wklej zawartość swojego robots.txt.
  2. Podaj pełny URL do przetestowania oraz nazwę user-agenta (Googlebot, GPTBot, *).
  3. Kliknij Testuj ten URL.
  4. Przeczytaj werdykt oraz pasującą regułę, która go wyprodukowała.

Jak to działa

Dopasowywanie podąża za standardem (RFC 9309, w implementacji Google): najpierw wybierana jest grupa robota - grupa nazywająca najbardziej szczegółowy pasujący token user-agenta wygrywa z grupą * - a potem, wewnątrz tej grupy, wygrywa reguła, której wzorzec ścieżki pasuje do ścieżki URL i jest najdłuższy; przy remisie Allow wygrywa z Disallow. Wzorce obsługują * jako symbol wieloznaczny oraz końcowy $ jako kotwicę końca. Puste Disallow nie pasuje do niczego, dlatego samo 'Disallow:' pozwala na wszystko.

Często zadawane pytania

Czy ten tester jest bezpłatny?

Tak - całkowicie za darmo, bez rejestracji.

Których reguł dopasowania przestrzega?

RFC 9309 / implementacja Google: najbardziej szczegółowa grupa agenta, najdłuższa pasująca reguła, Allow wygrywa remisy, obsługa wzorców * i $.

Mój URL jest tutaj zablokowany, ale zaindeksowany w Google - dlaczego?

Robots blokuje indeksowanie robocze (crawling), nie indeksowanie. Zablokowana strona nadal może zostać zaindeksowana z linków, pokazana bez opisu.

Czy pobiera mój aktywny robots.txt?

Nie - wklej treść. Przeglądarki nie mogą pobierać plików dowolnych witryn (CORS), a wklejanie pozwala też przetestować szkic przed opublikowaniem.

Czy cokolwiek jest przesyłane?

Nie. Testowanie działa w przeglądarce.

Powiązane narzędzia deweloperskie

Osadź to narzędzie na swojej stronie — za darmo

Dodaj to narzędzie do własnej strony internetowej lub bloga — jest całkowicie bezpłatne, nie wymaga rejestracji i zawsze pokazuje najnowszą wersję. Skopiuj poniższy kod i wklej go na swoją stronę tam, gdzie narzędzie ma się pojawić. Zachowanie małej linii kredytowej “Powered by Loona Automation” pod osadzeniem pomaga utrzymać to narzędzie bezpłatnym — ale możesz ją dowolnie stylować lub usunąć; narzędzie działa tak czy inaczej.