Question 1

Was ist eine robots.txt?

Accepted Answer

Eine robots.txt-Datei ist eine Textdatei, die Webmaster auf ihrer Website platzieren, um Suchmaschinen-Crawlern mitzuteilen, welche Seiten oder Bereiche der Website nicht gecrawlt oder indiziert werden sollen. Sie ist Teil des Robots Exclusion Protocol (REP).

Question 2

Welche KI-Crawler kann ich blockieren?

Accepted Answer

Der Generator unterstützt über 30 KI-Crawler, darunter GPTBot (OpenAI/ChatGPT), ClaudeBot (Anthropic), Google-Extended (Gemini), PerplexityBot, Bytespider (TikTok/ByteDance), Meta-ExternalAgent (Facebook/Meta), DeepSeekBot, CCBot (Common Crawl) und viele weitere. Du kannst entweder alle KI-Crawler oder nur die für das Training verwendeten blockieren.

Question 3

Was ist der Unterschied zwischen KI-Training und KI-Suche?

Accepted Answer

Viele KI-Unternehmen nutzen separate Bots. Training-Bots wie GPTBot oder ClaudeBot sammeln Daten zum Trainieren von KI-Modellen. Such-Bots wie ChatGPT-User oder Perplexity-User rufen Seiten ab, um aktuelle Informationen für Nutzeranfragen bereitzustellen. Du kannst Training blockieren, aber Suche erlauben.

Question 4

Halten sich alle Crawler an die robots.txt?

Accepted Answer

Nein. Die robots.txt ist eine Richtlinie, keine zwingende Vorschrift. Seriöse Crawler wie Googlebot, Bingbot und die meisten hier aufgeführten Bots halten sich daran. Einige KI-Crawler wurden jedoch dabei erwischt, robots.txt zu ignorieren. Für sensible Inhalte solltest du zusätzliche Sicherheitsmaßnahmen verwenden.

Question 5

Was bedeuten die Templates?

Accepted Answer

Templates sind vorkonfigurierte Einstellungen. KI-Crawler blockieren blockiert alle KI-Bots, erlaubt aber Suchmaschinen. Nur KI-Training blockieren erlaubt KI-Suche, blockiert aber Training. Nur Suchmaschinen erlaubt nur klassische Suchmaschinen. Diese Templates kannst du nach Auswahl weiter anpassen.

Question 6

Wie blockiere ich WordPress-spezifische Verzeichnisse?

Accepted Answer

Der Generator bietet vorkonfigurierte WordPress-Optionen für wp-admin, wp-includes, Suchergebnisse, Tag-Archive, Autoren-Archive und Datums-Archive. Aktiviere einfach die gewünschten Checkboxen, dann werden die entsprechenden Disallow-Regeln automatisch hinzugefügt.

Question 7

Kann ich mehrere Sitemaps angeben?

Accepted Answer

Ja, du kannst beliebig viele Sitemap-URLs hinzufügen. Klicke einfach auf Weitere Sitemap hinzufügen und gib die vollständige URL ein. Alle angegebenen Sitemaps werden am Ende der robots.txt aufgeführt.

Question 8

Wo muss ich die robots.txt-Datei hochladen?

Accepted Answer

Die robots.txt-Datei muss im Root-Verzeichnis deiner Website liegen. Sie muss unter https://deine-domain.de/robots.txt erreichbar sein. Bei den meisten Hosting-Anbietern ist das das public_html- oder www-Verzeichnis.

robots.txt-Generator

Häufig gestellte Fragen

URL-Tester

Großes Update

Offizieller Launch