Logo-ul Loona AutomationLoona Instrumente pentru dezvoltatori
Acasă › Instrumente pentru dezvoltatori › Tester Robots.txt

Tester Robots.txt - Permis sau blocat, și exact de ce

Pe scurt: Testerul Robots.txt aplică regulile reale de potrivire - cel mai specific grup de agent utilizator, apoi regula de cale cu cea mai lungă potrivire, cu Allow câștigând la egalitate - și arată verdictul plus regula exactă care l-a decis.

Un fișier robots.txt este ușor de scris și greu de raționat. Acest tester răspunde la singura întrebare care contează pentru un anumit crawler și URL.

Privat prin concepție: totul în acest instrument se întâmplă 100% în browserul tău cu JavaScript. Datele tale introduse nu sunt încărcate niciodată pe un server, nu sunt stocate și nu sunt văzute de noi - închide fila și totul a dispărut.

Cum se folosește Testerul Robots.txt

  1. Lipește conținutul robots.txt.
  2. Introdu URL-ul complet de testat și numele user-agent (Googlebot, GPTBot, *).
  3. Dă clic pe Testează acest URL.
  4. Citește verdictul și regula de potrivire care l-a produs.

Cum funcționează

Potrivirea urmează standardul (RFC 9309, așa cum îl implementează Google): mai întâi este ales grupul crawlerului - grupul care numește tokenul de agent utilizator cu potrivirea cea mai specifică câștigă în fața grupului * - apoi, în interiorul acelui grup, regula al cărei model de cale se potrivește cu calea URL-ului și este cea mai lungă câștigă; la egalitate, Allow bate Disallow. Modelele acceptă * ca wildcard și un $ final ca ancoră de sfârșit. Un Disallow gol nu se potrivește cu nimic, motiv pentru care 'Disallow:' singur permite totul.

Întrebări frecvente

Acest tester este gratuit?

Da - complet gratuit, fără înregistrare.

Ce reguli de potrivire urmează?

RFC 9309 / implementarea Google: cel mai specific grup de agenți, cea mai lungă regulă de potrivire, Allow câștigă la egalitate, suport de modele * și $.

URL-ul meu este blocat aici, dar indexat în Google - de ce?

Robots blochează crawling-ul, nu indexarea. O pagină blocată poate fi totuși indexată din linkuri, afișată fără descriere.

Îmi preia robots.txt-ul live?

Nu - lipește conținutul. Browserele nu pot prelua fișierele site-urilor arbitrare (CORS), iar lipirea îți permite și să testezi o schiță înainte de publicare.

Se încarcă ceva?

Nu. Testarea rulează în browserul tău.

Instrumente conexe pentru dezvoltatori

Încorporează acest instrument pe site-ul tău — gratuit

Adaugă acest instrument pe propriul tău site sau blog — este complet gratuit, nu necesită înregistrare și arată întotdeauna cea mai recentă versiune. Copiază codul de mai jos și lipește-l în pagina ta unde vrei să apară instrumentul. Păstrarea micului rând de credit “Oferit de Loona Automation” sub încorporare ajută la menținerea acestui instrument gratuit — dar ești liber să îl stilizezi sau să îl elimini; instrumentul funcționează oricum.