Loona Automationin logoLoona Kehittäjätyökalut
Etusivu › Kehittäjätyökalut › Robots.txt-testaaja

Robots.txt-testaaja - Sallittu vai estetty, ja täsmälleen miksi

Lyhyesti: Robots.txt-testaaja soveltaa aitoja täsmäyssääntöjä – tarkin user-agent-ryhmä, sitten pisin täsmäävä polkusääntö, Allow voittaen tasapelit – ja näyttää tuomion sekä täsmälleen säännön, joka sen ratkaisi.

robots.txt-tiedosto on helppo kirjoittaa ja vaikea hahmottaa. Tämä testaaja vastaa ainoaan kysymykseen, jolla on merkitystä tietylle indeksoijalle ja URLille.

Yksityinen jo suunnittelultaan: kaikki tässä työkalussa tapahtuu 100 % selaimessasi JavaScriptillä. Syötettäsi ei koskaan lähetetä palvelimelle, sitä ei koskaan tallenneta emmekä me koskaan näe sitä – sulje välilehti, ja kaikki on poissa.

Robots.txt-testaajan käyttö

  1. Liitä robots.txt-sisältösi.
  2. Syötä koko testattava URL ja user-agentin nimi (Googlebot, GPTBot, *).
  3. Napsauta Testaa tämä URL.
  4. Lue tuomio ja täsmäävä sääntö, joka sen tuotti.

Miten se toimii

Täsmäytys noudattaa standardia (RFC 9309, kuten Google sen toteuttaa): ensin valitaan indeksoijan ryhmä - ryhmä, joka nimeää täsmällisimmin täsmäävän user-agent-tokenin, voittaa *-ryhmän - sitten, kyseisen ryhmän sisällä, voittaa sääntö, jonka polkukuvio täsmää URL:n polkuun ja on pisin; tasapelissä Allow voittaa Disallowin. Kuviot tukevat *-merkkiä jokerimerkkinä ja perässä olevaa $-merkkiä loppukiinnikkeenä. Tyhjä Disallow ei täsmää mihinkään, minkä vuoksi pelkkä ”Disallow:” sallii kaiken.

Usein kysytyt kysymykset

Onko tämä testaaja ilmainen?

Kyllä - täysin ilmainen, ei rekisteröitymistä.

Mitä täsmäyssääntöjä se noudattaa?

RFC 9309 / Googlen toteutus: täsmällisin agenttiryhmä, pisin täsmäävä sääntö, Allow voittaa tasapelit, * ja $ -kuviotuki.

URL-osoitteeni on estetty täällä, mutta indeksoitu Googlessa - miksi?

Robots estää ryöminnän, ei indeksointia. Estetty sivu voidaan yhä indeksoida linkeistä, näytettynä ilman kuvausta.

Hakeeko se elävän robots.txt:ni?

Ei - liitä sisältö. Selaimet eivät voi hakea mielivaltaisten sivustojen tiedostoja (CORS), ja liittäminen antaa sinun myös testata luonnoksen ennen sen julkaisemista.

Lähetetäänkö mitään?

Ei. Testaus toimii selaimessasi.

Aiheeseen liittyvät kehittäjätyökalut

Upota tämä työkalu verkkosivustollesi — ilmainen

Lisää tämä työkalu omalle verkkosivustollesi tai blogiisi — se on täysin ilmainen, ei vaadi rekisteröitymistä ja näyttää aina uusimman version. Kopioi alla oleva koodi ja liitä se sivullesi kohtaan, jossa haluat työkalun näkyvän. Pienen “Powered by Loona Automation” -maininnan säilyttäminen upotuksen alla auttaa pitämään tämän työkalun ilmaisena — mutta voit vapaasti muotoilla tai poistaa sen; työkalu toimii joka tapauksessa.