Générateur de robots.txt — gratuit et confidentiel, dans votre navigateur
Créez un robots.txt valide pour votre site — instantanément, sans rien envoyer en ligne.
Cet outil fonctionne entièrement dans votre navigateur. Vos fichiers ne sont jamais téléversés — ils restent sur votre appareil.
User-agent: * Disallow:
Un fichier robots.txt indique aux moteurs de recherche et autres robots d'exploration quelles parties de votre site ils peuvent visiter. Bien le configurer est important : une règle égarée peut masquer tout votre site à Google, ou exposer des pages que vous vouliez garder hors de l'index.
Ce générateur construit le fichier à mesure que vous tapez, afin que vous voyiez exactement ce que fait chaque règle. Tout se passe dans votre navigateur — aucune donnée n'est envoyée où que ce soit — et vous pouvez copier le résultat ou le télécharger en tant que robots.txt lorsqu'il vous convient.
Comment utiliser Générateur de robots.txt
- Définissez le user-agent auquel s'appliquent les règles (utilisez * pour tous les robots).
- Ajoutez les chemins que vous voulez interdire (Disallow), et éventuellement les chemins à autoriser (Allow).
- Ajoutez éventuellement un crawl-delay et l'URL de votre sitemap.
- Examinez l'aperçu en direct, puis copiez-le ou téléchargez-le en tant que robots.txt.
- Téléversez le fichier à la racine de votre site, p. ex. example.com/robots.txt.
Questions fréquentes
Quelque chose est-il téléversé ou envoyé à un serveur ?
Non. Le texte du robots.txt est construit entièrement dans votre navigateur à mesure que vous tapez. Rien de ce que vous saisissez n'est téléversé, stocké ni partagé.
Où dois-je placer le fichier robots.txt ?
Il doit se trouver à la racine de votre domaine, accessible à l'adresse https://votredomaine.com/robots.txt. Les robots ne le cherchent pas dans des sous-dossiers.
Que fait « Disallow: / » ?
Un Disallow avec une seule barre oblique bloque l'ensemble du site pour ce user-agent. Laissez les chemins Disallow vides (ou utilisez « Allow: / ») si vous voulez que tout soit exploré.
Le robots.txt empêche-t-il totalement les pages d'apparaître dans Google ?
Pas nécessairement. Il demande aux robots bien élevés de ne pas récupérer un chemin, mais une URL bloquée peut tout de même être indexée si elle est liée ailleurs. Utilisez une balise meta noindex ou un en-tête HTTP pour garder de façon fiable une page hors des résultats de recherche.
Devrais-je ajouter une ligne sitemap ?
C'est facultatif mais recommandé. Une ligne Sitemap indique aux robots où se trouve votre sitemap XML et les aide à découvrir vos pages plus rapidement.