Generatore di robots.txt — gratis e privato, nel tuo browser
Crea un robots.txt valido per il tuo sito, all'istante e senza caricare nulla online.
Questo strumento funziona interamente nel tuo browser. I tuoi file non vengono mai caricati — restano sul tuo dispositivo.
User-agent: * Disallow:
Un file robots.txt indica ai motori di ricerca e agli altri crawler quali parti del tuo sito possono visitare. Farlo bene è importante: una sola regola sbagliata può nascondere l'intero sito a Google, o esporre pagine che intendevi tenere fuori dall'indice.
Questo generatore costruisce il file mentre digiti, così puoi vedere esattamente cosa fa ogni regola. Tutto avviene nel browser — nessun dato viene inviato da alcuna parte — e puoi copiare il risultato o scaricarlo come robots.txt quando ti sembra a posto.
Come usare Generatore di robots.txt
- Imposta lo user-agent a cui si applicano le regole (usa * per tutti i crawler).
- Aggiungi i percorsi che vuoi vietare con Disallow e, facoltativamente, eventuali percorsi da consentire con Allow.
- Facoltativamente aggiungi un crawl-delay e l'URL della tua sitemap.
- Esamina l'anteprima dal vivo, poi copiala o scaricala come robots.txt.
- Carica il file nella radice del tuo sito, ad es. example.com/robots.txt.
Domande frequenti
Viene caricato o inviato qualcosa a un server?
No. Il testo del robots.txt viene costruito interamente nel browser mentre digiti. Nulla di ciò che inserisci viene caricato, memorizzato o condiviso.
Dove devo mettere il file robots.txt?
Deve trovarsi nella radice del tuo dominio, raggiungibile all'indirizzo https://tuodominio.com/robots.txt. I crawler non lo cercano nelle sottocartelle.
Cosa fa "Disallow: /"?
Un Disallow con una singola barra blocca l'intero sito per quello user-agent. Lascia vuoti i percorsi Disallow (oppure usa "Allow: /") se vuoi che tutto venga sottoposto a scansione.
Il robots.txt tiene le pagine completamente fuori da Google?
Non necessariamente. Chiede ai crawler ben educati di non recuperare un percorso, ma un URL bloccato può comunque essere indicizzato se viene collegato altrove. Usa un meta tag noindex o un'intestazione HTTP per tenere una pagina fuori dai risultati di ricerca in modo affidabile.
Dovrei aggiungere una riga sitemap?
È facoltativo ma consigliato. Una riga Sitemap indirizza i crawler alla tua sitemap XML e li aiuta a scoprire le tue pagine più velocemente.