Question 1

Was ist eine robots.txt?

Accepted Answer

Eine robots.txt-Datei ist eine Textdatei, die Webmaster auf ihrer Website platzieren, um Suchmaschinen-Crawlern mitzuteilen, welche Seiten oder Bereiche der Website nicht gecrawlt oder indiziert werden sollen. Sie ist Teil des Robots Exclusion Protocol (REP).

Question 2

Welche Anweisungen kann ich mit dem robots.txt-Generator erstellen?

Accepted Answer

Mit unserem Generator kannst du festlegen, welche Crawler (alle oder spezifische wie Googlebot, Bingbot) deine Website crawlen dürfen, welche Verzeichnisse blockiert werden sollen, eine Crawl-Verzögerung einstellen und die URL deiner Sitemap angeben.

Question 3

Halten sich alle Crawler an die robots.txt?

Accepted Answer

Nein, leider nicht. Die robots.txt-Datei ist eine Richtlinie, keine zwingende Vorschrift. Alle Crawler, die du hier als Auswahl findest, halten sich jedoch an die robots.txt (zumindest laut eigenen Angaben). Für sensible Inhalte solltest du zusätzliche Sicherheitsmaßnahmen wie Passwortschutz oder serverseitige Zugriffsbeschränkungen verwenden.

Question 4

Wo muss ich die robots.txt-Datei hochladen?

Accepted Answer

Die robots.txt-Datei muss im Root-Verzeichnis (Hauptverzeichnis) deiner Website liegen. Sie muss unter https://deine-domain.de/robots.txt erreichbar sein. Bei den meisten Hosting-Anbietern ist das das public_html oder www Verzeichnis.

Question 5

Was bedeutet die Crawl-Verzögerung (Crawl-delay)?

Accepted Answer

Die Crawl-Verzögerung gibt an, wie viele Sekunden ein Crawler zwischen den einzelnen Seitenabrufen warten soll. Das kann hilfreich sein, wenn dein Server durch zu häufige Crawler-Anfragen belastet wird. Beachte jedoch, dass nicht alle Crawler diese Anweisung unterstützen.

Question 6

Kann ich mehrere Sitemaps angeben?

Accepted Answer

Ja, du kannst mehrere Sitemap-Zeilen in der robots.txt-Datei haben. In unserem Generator kannst du nach der Generierung manuell weitere Sitemap-Zeilen hinzufügen, oder du erstellst eine Sitemap-Index-Datei, die alle deine Sitemaps enthält.

Question 7

Welche Crawler kann ich mit dem Generator konfigurieren?

Accepted Answer

Der Generator unterstützt 8 vorkonfigurierte Bots: Googlebot, Bingbot, DuckDuckBot, Yandex, Baiduspider, Applebot, GPTBot und der generische Platzhalter für alle Bots (*). Für jeden Bot kannst du individuelle Regeln festlegen.

Question 8

Ist der robots.txt-Generator kostenlos?

Accepted Answer

Ja, der Generator ist komplett kostenlos und ohne Anmeldung nutzbar. Du kannst beliebig viele robots.txt-Dateien erstellen und herunterladen.

Question 9

Kann ich KI-Crawler wie GPTBot blockieren?

Accepted Answer

Ja, du kannst GPTBot und andere KI-Crawler gezielt blockieren, um zu verhindern, dass deine Inhalte für das Training von KI-Modellen verwendet werden. Wähle einfach den entsprechenden Bot aus und setze ihn auf "blockieren".

Question 10

Wie teste ich, ob meine robots.txt funktioniert?

Accepted Answer

Nach dem Hochladen kannst du die Google Search Console nutzen, um deine robots.txt zu testen. Dort gibt es einen robots.txt-Tester, der zeigt, welche URLs blockiert werden. Alternativ kannst du die Datei direkt unter deine-domain.de/robots.txt aufrufen.

robots.txt-Generator

Häufig gestellte Fragen

Komplette Überarbeitung

Erste Version

robots.txt-Generator

Häufig gestellte Fragen

Komplette Überarbeitung

Erste Version