Loona Automation logóLoona Fejlesztői eszközök
Kezdőlap › Fejlesztői eszközök › Robots.txt tesztelő

Robots.txt tesztelő - Engedélyezett vagy blokkolt, és pontosan miért

Röviden: a Robots.txt tesztelő a valódi illesztési szabályokat alkalmazza - a legpontosabb user-agent csoport, majd a leghosszabb illeszkedő útvonalszabály, az Allow nyerve a döntetleneket -, és megmutatja az ítéletet plusz a pontos szabályt, amely eldöntötte.

Egy robots.txt fájlt könnyű megírni és nehéz átgondolni. Ez a tesztelő megválaszolja az egyetlen kérdést, amely számít egy adott feltérképező és URL esetén.

Tervezésénél fogva privát: minden ebben az eszközben 100%-ban a böngészőjében történik JavaScripttel. A bemenete soha nem töltődik fel egy szerverre, soha nem tárolódik, és soha nem látjuk - zárja be a fület, és minden eltűnik.

A Robots.txt tesztelő használata

  1. Illessze be a robots.txt tartalmát.
  2. Adja meg a tesztelendő teljes URL-t és a user-agent nevet (Googlebot, GPTBot, *).
  3. Kattintson az URL tesztelése gombra.
  4. Olvassa el az ítéletet és az azt előállító illeszkedő szabályt.

Hogyan működik

Az illesztés a szabványt követi (RFC 9309, ahogyan a Google megvalósítja): először a robot csoportját választjuk ki - az a csoport nyer a * csoporttal szemben, amely a legpontosabban illeszkedő user-agent tokent nevezi meg -, majd azon a csoporton belül az a szabály nyer, amelynek az útvonalmintája illeszkedik az URL útvonalára és a leghosszabb; döntetlen esetén az Allow nyer a Disallow-val szemben. A minták támogatják a * karaktert helyettesítő karakterként és a záró $ jelet véghorgonyként. Az üres Disallow semmire sem illeszkedik, ezért engedi meg a 'Disallow:' önmagában mindent.

Gyakran ismételt kérdések

Ingyenes ez a tesztelő?

Igen - teljesen ingyenes, nincs regisztráció.

Mely illesztési szabályokat követi?

RFC 9309 / a Google megvalósítása: a legpontosabb ügynökcsoport, a leghosszabb illeszkedő szabály, az Allow nyer döntetlen esetén, * és $ mintatámogatás.

Az URL-em itt blokkolva van, de a Google-ban indexelve - miért?

A robots blokkolja a feltérképezést, nem az indexelést. Egy blokkolt oldal még mindig indexelhető linkekből, leírás nélkül megjelenítve.

Lekéri az élő robots.txt fájlomat?

Nem - illessze be a tartalmat. A böngészők nem tudják lekérni tetszőleges oldalak fájljait (CORS), és a beillesztés azt is lehetővé teszi, hogy közzététel előtt teszteljen egy piszkozatot.

Feltöltődik bármi?

Nem. A tesztelés a böngészőjében fut.

Kapcsolódó fejlesztői eszközök

Ágyazza be ezt az eszközt a webhelyére — ingyen

Adja hozzá ezt az eszközt a saját webhelyéhez vagy blogjához — teljesen ingyenes, nem kell hozzá regisztráció, és mindig a legfrissebb verziót mutatja. Másolja ki az alábbi kódot, és illessze be az oldalába oda, ahová az eszközt szeretné. Ha megtartja az apró “Powered by Loona Automation” köszönetsort a beágyazás alatt, azzal segít ingyenesen tartani ezt az eszközt — de szabadon formázhatja vagy eltávolíthatja; az eszköz így is, úgy is működik.