Generatore di Robots.txt - Regole crawler senza le trappole di sintassi
Una riga sbagliata in robots.txt può nascondere un intero sito a Google - o non riuscire a nascondere nulla. Costruiscilo qui, con preset per i casi comuni e controlli sull'output.
Come usare il Generatore di Robots.txt
- Scegli un preset, o parti da Consenti tutto e personalizza.
- Aggiungi un gruppo per qualsiasi crawler specifico (per esempio GPTBot) con le sue regole.
- Elenca percorsi disallow e allow, uno per riga - i percorsi iniziano con /.
- Aggiungi l'URL della tua sitemap e fai clic su Genera.
- Passa attraverso le note di controllo sanità, poi posiziona il file su yourdomain.com/robots.txt.
Come funziona
Un file robots.txt è un insieme di gruppi: ogni gruppo nomina uno o più user-agent (crawler) seguiti da regole di percorso Disallow e Allow che si applicano a loro. Un Disallow vuoto significa che tutto è permesso; Disallow: / blocca l'intero sito per quell'agente. Le regole vengono abbinate per prefisso, e Google supporta anche Allow per ritagliare eccezioni da un Disallow più ampio. Questo generatore emette gruppi nel formato standard, aggiunge la riga Sitemap, e poi controlla la sanità del suo stesso output: campi sconosciuti, percorsi che non iniziano con /, e righe sitemap che non sono URL completi vengono tutti segnalati. Ricorda che robots.txt è una richiesta, non un lucchetto - crawler ben educati lo obbediscono, quelli malevoli potrebbero no, quindi non affidarti mai a esso per proteggere segreti.
Domande frequenti
Questo generatore è gratuito?
Sì - completamente gratuito, nessuna registrazione.
Dove va robots.txt?
Alla radice del tuo dominio: https://yourdomain.com/robots.txt - nessun altro posto viene letto.
robots.txt blocca completamente le pagine dai risultati di ricerca?
Blocca la scansione, non l'indicizzazione: un URL bloccato può ancora apparire nei risultati (senza descrizione) se altri siti lo linkano. Usa un tag noindex per tenere una pagina completamente fuori.
Posso bloccare i crawler IA?
Il preset IA aggiunge gruppi che vietano GPTBot, CCBot e Google-Extended. I crawler conformi lo onorano; non può fermare scraper che ignorano robots.txt.
Qualcosa viene caricato?
No. Generazione e controlli funzionano nel tuo browser.
Strumenti per sviluppatori correlati
Generatore di meta tag
Genera un blocco meta HTML pronto da incollare - titolo, descrizione, robots, canonico - con un'anteprima in stile SERP.
Generatore Open Graph e Twitter Card
Costruisci tag Open Graph e Twitter Card con un'anteprima scheda, così i link condivisi appaiono bene ovunque.
Generatore di Robots.txt
Costruisci un robots.txt valido con regole allow e disallow per agente e una riga sitemap.