Tester di Robots.txt - Consentito o bloccato, ed esattamente perché
Un file robots.txt è facile da scrivere e difficile da ragionare. Questo tester risponde all'unica domanda che conta per un dato crawler e URL.
Come usare il Tester di Robots.txt
- Incolla il contenuto del tuo robots.txt.
- Inserisci l'URL completo da testare e il nome user-agent (Googlebot, GPTBot, *).
- Fai clic su Testa questo URL.
- Leggi il verdetto e la regola corrispondente che lo ha prodotto.
Come funziona
La corrispondenza segue lo standard (RFC 9309, come lo implementa Google): prima viene scelto il gruppo del crawler - il gruppo che nomina il token user-agent corrispondente più specifico vince sul gruppo * - poi, dentro quel gruppo, vince la regola il cui pattern di percorso corrisponde al percorso dell'URL ed è più lungo; in caso di parità, Allow batte Disallow. I pattern supportano * come wildcard e un $ finale come ancora di fine. Un Disallow vuoto non corrisponde a nulla, ed è per questo che 'Disallow:' da solo permette tutto.
Domande frequenti
Questo tester è gratuito?
Sì - completamente gratuito, nessuna registrazione.
Quali regole di abbinamento segue?
RFC 9309 / implementazione di Google: gruppo agente più specifico, regola corrispondente più lunga, Allow vince i pareggi, supporto pattern * e $.
Il mio URL è bloccato qui ma indicizzato in Google - perché?
Robots blocca la scansione, non l'indicizzazione. Una pagina bloccata può ancora essere indicizzata dai link, mostrata senza descrizione.
Recupera il mio robots.txt live?
No - incolla il contenuto. I browser non possono recuperare file di siti arbitrari (CORS), e incollare ti permette anche di testare una bozza prima di pubblicarla.
Qualcosa viene caricato?
No. I test funzionano nel tuo browser.