robots.txt-Generator — kostenlos & privat, in deinem Browser
Erstelle eine gültige robots.txt für deine Website — sofort und ohne Upload.
Dieses Tool läuft komplett in deinem Browser. Deine Dateien werden nie hochgeladen — sie bleiben auf deinem Gerät.
User-agent: * Disallow:
Eine robots.txt-Datei teilt Suchmaschinen und anderen Crawlern mit, welche Teile deiner Website sie besuchen dürfen. Sie richtig zu machen ist wichtig: Eine einzige verirrte Regel kann deine ganze Website vor Google verbergen oder Seiten freilegen, die du eigentlich aus dem Index halten wolltest.
Dieser Generator baut die Datei, während du tippst, sodass du genau sehen kannst, was jede Regel bewirkt. Alles geschieht in deinem Browser — keine Daten werden irgendwohin gesendet — und du kannst das Ergebnis kopieren oder als robots.txt herunterladen, wenn es passt.
So verwendest du robots.txt-Generator
- Lege den User-Agent fest, für den die Regeln gelten (verwende * für alle Crawler).
- Füge die Pfade hinzu, die du per Disallow sperren möchtest, und optional alle Pfade, die du per Allow erlauben möchtest.
- Füge optional ein Crawl-Delay und die URL deiner Sitemap hinzu.
- Prüfe die Live-Vorschau und kopiere sie dann oder lade sie als robots.txt herunter.
- Lade die Datei in das Stammverzeichnis deiner Website hoch, z. B. example.com/robots.txt.
Häufig gestellte Fragen
Wird irgendetwas hochgeladen oder an einen Server gesendet?
Nein. Der robots.txt-Text wird vollständig in deinem Browser gebaut, während du tippst. Nichts von dem, was du eingibst, wird hochgeladen, gespeichert oder geteilt.
Wohin lege ich die robots.txt-Datei?
Sie muss im Stammverzeichnis deiner Domain liegen, erreichbar unter https://deinedomain.de/robots.txt. Crawler suchen nicht in Unterordnern danach.
Was bewirkt „Disallow: /“?
Ein Disallow mit einem einzelnen Schrägstrich sperrt die gesamte Website für diesen User-Agent. Lass die Disallow-Pfade leer (oder verwende „Allow: /“), wenn du möchtest, dass alles gecrawlt wird.
Hält robots.txt Seiten vollständig aus Google heraus?
Nicht zwangsläufig. Sie bittet regelkonforme Crawler, einen Pfad nicht abzurufen, aber eine gesperrte URL kann dennoch indexiert werden, wenn anderswo darauf verlinkt wird. Verwende ein noindex-Meta-Tag oder einen HTTP-Header, um eine Seite zuverlässig aus den Suchergebnissen herauszuhalten.
Sollte ich eine Sitemap-Zeile hinzufügen?
Sie ist optional, aber empfehlenswert. Eine Sitemap-Zeile weist Crawler auf deine XML-Sitemap hin und hilft ihnen, deine Seiten schneller zu entdecken.