robots.txt-Generator
Mit unserem kostenlosen Generator kannst du dir eine robots.txt-Datei erstellen, um die Crawler gängiger Suchmaschinen und Bots zu steuern:
Allgemeine Einstellungen
Suchroboter Spezifische Einstellungen
Eingeschränkte Verzeichnisse
Der Pfad ist relativ zu root und muss einen abschließenden Schrägstrich „/“ enthalten.
Generierte robots.txt
FAQ
Hier findest du Antworten auf häufige Fragen zu unserem Keyword-Generator:
Eine robots.txt-Datei ist eine Textdatei, die Webmaster auf ihrer Website platzieren, um Suchmaschinen-Crawlern mitzuteilen, welche Seiten oder Bereiche der Website nicht gecrawlt oder indiziert werden sollen. Sie ist Teil des Robots Exclusion Protocol (REP).
Nein, leider nicht. Die robots.txt-Datei ist eine Richtlinie, keine zwingende Vorschrift.
Alle Crawler, die du hier als Auswahl findest, halten sich jedoch an die robots.txt (zumindest laut eigenen Angaben).
Für sensible Inhalte solltest du zusätzliche Sicherheitsmaßnahmen wie Passwortschutz oder serverseitige Zugriffsbeschränkungen verwenden.
