Logo Loona AutomationLoona Strumenti per sviluppatori
Home › Strumenti per sviluppatori › Generatore di Robots.txt

Generatore di Robots.txt - Regole crawler senza le trappole di sintassi

In breve: il Generatore Robots.txt costruisce un robots.txt valido da predefiniti e regole per agente - percorsi consenti e non consenti per crawler, più la tua riga sitemap - ed esegue controlli di sanità sul risultato prima che tu lo pubblichi.

Una riga sbagliata in robots.txt può nascondere un intero sito a Google - o non riuscire a nascondere nulla. Costruiscilo qui, con preset per i casi comuni e controlli sull'output.

Privato per design: tutto in questo strumento accade al 100% nel tuo browser con JavaScript. Il tuo input non viene mai caricato su un server, mai memorizzato e mai visto da noi - chiudi la scheda e tutto è andato.

Come usare il Generatore di Robots.txt

  1. Scegli un preset, o parti da Consenti tutto e personalizza.
  2. Aggiungi un gruppo per qualsiasi crawler specifico (per esempio GPTBot) con le sue regole.
  3. Elenca percorsi disallow e allow, uno per riga - i percorsi iniziano con /.
  4. Aggiungi l'URL della tua sitemap e fai clic su Genera.
  5. Passa attraverso le note di controllo sanità, poi posiziona il file su yourdomain.com/robots.txt.

Come funziona

Un file robots.txt è un insieme di gruppi: ogni gruppo nomina uno o più user-agent (crawler) seguiti da regole di percorso Disallow e Allow che si applicano a loro. Un Disallow vuoto significa che tutto è permesso; Disallow: / blocca l'intero sito per quell'agente. Le regole vengono abbinate per prefisso, e Google supporta anche Allow per ritagliare eccezioni da un Disallow più ampio. Questo generatore emette gruppi nel formato standard, aggiunge la riga Sitemap, e poi controlla la sanità del suo stesso output: campi sconosciuti, percorsi che non iniziano con /, e righe sitemap che non sono URL completi vengono tutti segnalati. Ricorda che robots.txt è una richiesta, non un lucchetto - crawler ben educati lo obbediscono, quelli malevoli potrebbero no, quindi non affidarti mai a esso per proteggere segreti.

Domande frequenti

Questo generatore è gratuito?

Sì - completamente gratuito, nessuna registrazione.

Dove va robots.txt?

Alla radice del tuo dominio: https://yourdomain.com/robots.txt - nessun altro posto viene letto.

robots.txt blocca completamente le pagine dai risultati di ricerca?

Blocca la scansione, non l'indicizzazione: un URL bloccato può ancora apparire nei risultati (senza descrizione) se altri siti lo linkano. Usa un tag noindex per tenere una pagina completamente fuori.

Posso bloccare i crawler IA?

Il preset IA aggiunge gruppi che vietano GPTBot, CCBot e Google-Extended. I crawler conformi lo onorano; non può fermare scraper che ignorano robots.txt.

Qualcosa viene caricato?

No. Generazione e controlli funzionano nel tuo browser.

Strumenti per sviluppatori correlati

Incorpora questo strumento sul tuo sito web — gratuito

Aggiungi questo strumento al tuo sito web o blog — è completamente gratuito, non richiede registrazione e mostra sempre la versione più recente. Copia il codice sotto e incollalo nella tua pagina dove vuoi che appaia lo strumento. Mantenere la piccola riga di credito “Powered by Loona Automation” sotto l'incorporamento aiuta a mantenere gratuito questo strumento — ma sei libero di darle stile o rimuoverla; lo strumento funziona in entrambi i casi.