Robots.txt tesztelő - Engedélyezett vagy blokkolt, és pontosan miért
Egy robots.txt fájlt könnyű megírni és nehéz átgondolni. Ez a tesztelő megválaszolja az egyetlen kérdést, amely számít egy adott feltérképező és URL esetén.
A Robots.txt tesztelő használata
- Illessze be a robots.txt tartalmát.
- Adja meg a tesztelendő teljes URL-t és a user-agent nevet (Googlebot, GPTBot, *).
- Kattintson az URL tesztelése gombra.
- Olvassa el az ítéletet és az azt előállító illeszkedő szabályt.
Hogyan működik
Az illesztés a szabványt követi (RFC 9309, ahogyan a Google megvalósítja): először a robot csoportját választjuk ki - az a csoport nyer a * csoporttal szemben, amely a legpontosabban illeszkedő user-agent tokent nevezi meg -, majd azon a csoporton belül az a szabály nyer, amelynek az útvonalmintája illeszkedik az URL útvonalára és a leghosszabb; döntetlen esetén az Allow nyer a Disallow-val szemben. A minták támogatják a * karaktert helyettesítő karakterként és a záró $ jelet véghorgonyként. Az üres Disallow semmire sem illeszkedik, ezért engedi meg a 'Disallow:' önmagában mindent.
Gyakran ismételt kérdések
Ingyenes ez a tesztelő?
Igen - teljesen ingyenes, nincs regisztráció.
Mely illesztési szabályokat követi?
RFC 9309 / a Google megvalósítása: a legpontosabb ügynökcsoport, a leghosszabb illeszkedő szabály, az Allow nyer döntetlen esetén, * és $ mintatámogatás.
Az URL-em itt blokkolva van, de a Google-ban indexelve - miért?
A robots blokkolja a feltérképezést, nem az indexelést. Egy blokkolt oldal még mindig indexelhető linkekből, leírás nélkül megjelenítve.
Lekéri az élő robots.txt fájlomat?
Nem - illessze be a tartalmat. A böngészők nem tudják lekérni tetszőleges oldalak fájljait (CORS), és a beillesztés azt is lehetővé teszi, hogy közzététel előtt teszteljen egy piszkozatot.
Feltöltődik bármi?
Nem. A tesztelés a böngészőjében fut.