Robots.txt-testaaja - Sallittu vai estetty, ja täsmälleen miksi
robots.txt-tiedosto on helppo kirjoittaa ja vaikea hahmottaa. Tämä testaaja vastaa ainoaan kysymykseen, jolla on merkitystä tietylle indeksoijalle ja URLille.
Robots.txt-testaajan käyttö
- Liitä robots.txt-sisältösi.
- Syötä koko testattava URL ja user-agentin nimi (Googlebot, GPTBot, *).
- Napsauta Testaa tämä URL.
- Lue tuomio ja täsmäävä sääntö, joka sen tuotti.
Miten se toimii
Täsmäytys noudattaa standardia (RFC 9309, kuten Google sen toteuttaa): ensin valitaan indeksoijan ryhmä - ryhmä, joka nimeää täsmällisimmin täsmäävän user-agent-tokenin, voittaa *-ryhmän - sitten, kyseisen ryhmän sisällä, voittaa sääntö, jonka polkukuvio täsmää URL:n polkuun ja on pisin; tasapelissä Allow voittaa Disallowin. Kuviot tukevat *-merkkiä jokerimerkkinä ja perässä olevaa $-merkkiä loppukiinnikkeenä. Tyhjä Disallow ei täsmää mihinkään, minkä vuoksi pelkkä ”Disallow:” sallii kaiken.
Usein kysytyt kysymykset
Onko tämä testaaja ilmainen?
Kyllä - täysin ilmainen, ei rekisteröitymistä.
Mitä täsmäyssääntöjä se noudattaa?
RFC 9309 / Googlen toteutus: täsmällisin agenttiryhmä, pisin täsmäävä sääntö, Allow voittaa tasapelit, * ja $ -kuviotuki.
URL-osoitteeni on estetty täällä, mutta indeksoitu Googlessa - miksi?
Robots estää ryöminnän, ei indeksointia. Estetty sivu voidaan yhä indeksoida linkeistä, näytettynä ilman kuvausta.
Hakeeko se elävän robots.txt:ni?
Ei - liitä sisältö. Selaimet eivät voi hakea mielivaltaisten sivustojen tiedostoja (CORS), ja liittäminen antaa sinun myös testata luonnoksen ennen sen julkaisemista.
Lähetetäänkö mitään?
Ei. Testaus toimii selaimessasi.