Robots.txt tester - Dopušteno ili blokirano, i točno zašto
Datoteku robots.txt lako je napisati, a teško o njoj zaključivati. Ovaj tester odgovara na jedino pitanje koje je važno za određenog robota i URL.
Kako koristiti Robots.txt tester
- Zalijepite sadržaj svoje robots.txt datoteke.
- Unesite puni URL za testiranje i ime user-agenta (Googlebot, GPTBot, *).
- Kliknite Testiraj ovaj URL.
- Pročitajte presudu i podudarajuće pravilo koje ju je proizvelo.
Kako radi
Podudaranje slijedi standard (RFC 9309, kako ga Google implementira): prvo se bira skupina robota - skupina koja imenuje najspecifičniji podudarajući token user-agenta pobjeđuje skupinu * - zatim, unutar te skupine, pobjeđuje pravilo čiji se uzorak putanje podudara s putanjom URL-a i najdulje je; pri izjednačenju, Allow pobjeđuje Disallow. Uzorci podržavaju * kao zamjenski znak i završni $ kao sidro kraja. Prazan Disallow ne podudara se ni s čim, i zato samo 'Disallow:' dopušta sve.
Često postavljana pitanja
Je li ovaj tester besplatan?
Da - potpuno besplatno, bez registracije.
Koja pravila podudaranja slijedi?
RFC 9309 / Googleova implementacija: najspecifičnija skupina agenta, najdulje podudarajuće pravilo, Allow pobjeđuje pri izjednačenju, podrška za uzorke * i $.
Moj URL ovdje je blokiran, ali je indeksiran u Googleu - zašto?
Roboti blokiraju indeksiranje pretraživanjem, ne indeksiranje. Blokirana stranica i dalje se može indeksirati s poveznica, prikazana bez opisa.
Dohvaća li moju živu datoteku robots.txt?
Ne - zalijepite sadržaj. Preglednici ne mogu dohvaćati datoteke proizvoljnih stranica (CORS), a lijepljenje vam omogućuje i testiranje nacrta prije objave.
Prenosi li se išta?
Ne. Testiranje radi u vašem pregledniku.