Logotip Loona AutomationLoona Alati za razvojne programere
Početna stranica › Alati za razvojne programere › Robots.txt tester

Robots.txt tester - Dopušteno ili blokirano, i točno zašto

Ukratko: Robots.txt tester primjenjuje prava pravila podudaranja - najspecifičniju skupinu user-agenta, zatim najdulje podudarajuće pravilo putanje, uz Allow koji pobjeđuje pri izjednačenju - i prikazuje presudu plus točno pravilo koje je odlučilo.

Datoteku robots.txt lako je napisati, a teško o njoj zaključivati. Ovaj tester odgovara na jedino pitanje koje je važno za određenog robota i URL.

Privatno po dizajnu: sve u ovom alatu događa se 100% u vašem pregledniku JavaScriptom. Vaš ulaz nikada se ne prenosi na poslužitelj, nikada se ne pohranjuje i nikada ga mi ne vidimo - zatvorite karticu i sve je nestalo.

Kako koristiti Robots.txt tester

  1. Zalijepite sadržaj svoje robots.txt datoteke.
  2. Unesite puni URL za testiranje i ime user-agenta (Googlebot, GPTBot, *).
  3. Kliknite Testiraj ovaj URL.
  4. Pročitajte presudu i podudarajuće pravilo koje ju je proizvelo.

Kako radi

Podudaranje slijedi standard (RFC 9309, kako ga Google implementira): prvo se bira skupina robota - skupina koja imenuje najspecifičniji podudarajući token user-agenta pobjeđuje skupinu * - zatim, unutar te skupine, pobjeđuje pravilo čiji se uzorak putanje podudara s putanjom URL-a i najdulje je; pri izjednačenju, Allow pobjeđuje Disallow. Uzorci podržavaju * kao zamjenski znak i završni $ kao sidro kraja. Prazan Disallow ne podudara se ni s čim, i zato samo 'Disallow:' dopušta sve.

Često postavljana pitanja

Je li ovaj tester besplatan?

Da - potpuno besplatno, bez registracije.

Koja pravila podudaranja slijedi?

RFC 9309 / Googleova implementacija: najspecifičnija skupina agenta, najdulje podudarajuće pravilo, Allow pobjeđuje pri izjednačenju, podrška za uzorke * i $.

Moj URL ovdje je blokiran, ali je indeksiran u Googleu - zašto?

Roboti blokiraju indeksiranje pretraživanjem, ne indeksiranje. Blokirana stranica i dalje se može indeksirati s poveznica, prikazana bez opisa.

Dohvaća li moju živu datoteku robots.txt?

Ne - zalijepite sadržaj. Preglednici ne mogu dohvaćati datoteke proizvoljnih stranica (CORS), a lijepljenje vam omogućuje i testiranje nacrta prije objave.

Prenosi li se išta?

Ne. Testiranje radi u vašem pregledniku.

Povezani razvojni alati

Ugradite ovaj alat na svoju web stranicu — besplatno

Dodajte ovaj alat na vlastitu web-stranicu ili blog — potpuno je besplatan, ne treba registraciju i uvijek prikazuje najnoviju verziju. Kopirajte kod u nastavku i zalijepite ga na svoju stranicu gdje želite da se alat pojavi. Zadržavanje male zaslužne crte “Omogućuje Loona Automation” ispod ugradnje pomaže da ovaj alat ostane besplatan — ali slobodno je oblikujte ili uklonite; alat radi u svakom slučaju.