Logo Loona AutomationLoona Strumenti per sviluppatori
Home › Strumenti per sviluppatori › Tester di Robots.txt

Tester di Robots.txt - Consentito o bloccato, ed esattamente perché

In breve: il Tester Robots.txt applica le vere regole di abbinamento - il gruppo user-agent più specifico, poi la regola percorso corrispondente più lunga, con Allow che vince i pareggi - e mostra il verdetto più l'esatta regola che lo ha deciso.

Un file robots.txt è facile da scrivere e difficile da ragionare. Questo tester risponde all'unica domanda che conta per un dato crawler e URL.

Privato per design: tutto in questo strumento accade al 100% nel tuo browser con JavaScript. Il tuo input non viene mai caricato su un server, mai memorizzato e mai visto da noi - chiudi la scheda e tutto è andato.

Come usare il Tester di Robots.txt

  1. Incolla il contenuto del tuo robots.txt.
  2. Inserisci l'URL completo da testare e il nome user-agent (Googlebot, GPTBot, *).
  3. Fai clic su Testa questo URL.
  4. Leggi il verdetto e la regola corrispondente che lo ha prodotto.

Come funziona

La corrispondenza segue lo standard (RFC 9309, come lo implementa Google): prima viene scelto il gruppo del crawler - il gruppo che nomina il token user-agent corrispondente più specifico vince sul gruppo * - poi, dentro quel gruppo, vince la regola il cui pattern di percorso corrisponde al percorso dell'URL ed è più lungo; in caso di parità, Allow batte Disallow. I pattern supportano * come wildcard e un $ finale come ancora di fine. Un Disallow vuoto non corrisponde a nulla, ed è per questo che 'Disallow:' da solo permette tutto.

Domande frequenti

Questo tester è gratuito?

Sì - completamente gratuito, nessuna registrazione.

Quali regole di abbinamento segue?

RFC 9309 / implementazione di Google: gruppo agente più specifico, regola corrispondente più lunga, Allow vince i pareggi, supporto pattern * e $.

Il mio URL è bloccato qui ma indicizzato in Google - perché?

Robots blocca la scansione, non l'indicizzazione. Una pagina bloccata può ancora essere indicizzata dai link, mostrata senza descrizione.

Recupera il mio robots.txt live?

No - incolla il contenuto. I browser non possono recuperare file di siti arbitrari (CORS), e incollare ti permette anche di testare una bozza prima di pubblicarla.

Qualcosa viene caricato?

No. I test funzionano nel tuo browser.

Strumenti per sviluppatori correlati

Incorpora questo strumento sul tuo sito web — gratuito

Aggiungi questo strumento al tuo sito web o blog — è completamente gratuito, non richiede registrazione e mostra sempre la versione più recente. Copia il codice sotto e incollalo nella tua pagina dove vuoi che appaia lo strumento. Mantenere la piccola riga di credito “Powered by Loona Automation” sotto l'incorporamento aiuta a mantenere gratuito questo strumento — ma sei libero di darle stile o rimuoverla; lo strumento funziona in entrambi i casi.