Tester Robots.txt - Permis sau blocat, și exact de ce
Un fișier robots.txt este ușor de scris și greu de raționat. Acest tester răspunde la singura întrebare care contează pentru un anumit crawler și URL.
Cum se folosește Testerul Robots.txt
- Lipește conținutul robots.txt.
- Introdu URL-ul complet de testat și numele user-agent (Googlebot, GPTBot, *).
- Dă clic pe Testează acest URL.
- Citește verdictul și regula de potrivire care l-a produs.
Cum funcționează
Potrivirea urmează standardul (RFC 9309, așa cum îl implementează Google): mai întâi este ales grupul crawlerului - grupul care numește tokenul de agent utilizator cu potrivirea cea mai specifică câștigă în fața grupului * - apoi, în interiorul acelui grup, regula al cărei model de cale se potrivește cu calea URL-ului și este cea mai lungă câștigă; la egalitate, Allow bate Disallow. Modelele acceptă * ca wildcard și un $ final ca ancoră de sfârșit. Un Disallow gol nu se potrivește cu nimic, motiv pentru care 'Disallow:' singur permite totul.
Întrebări frecvente
Acest tester este gratuit?
Da - complet gratuit, fără înregistrare.
Ce reguli de potrivire urmează?
RFC 9309 / implementarea Google: cel mai specific grup de agenți, cea mai lungă regulă de potrivire, Allow câștigă la egalitate, suport de modele * și $.
URL-ul meu este blocat aici, dar indexat în Google - de ce?
Robots blochează crawling-ul, nu indexarea. O pagină blocată poate fi totuși indexată din linkuri, afișată fără descriere.
Îmi preia robots.txt-ul live?
Nu - lipește conținutul. Browserele nu pot prelua fișierele site-urilor arbitrare (CORS), iar lipirea îți permite și să testezi o schiță înainte de publicare.
Se încarcă ceva?
Nu. Testarea rulează în browserul tău.