robots.txt-Generator

Eine robots.txt-Datei ist eine Textdatei, die Webmaster auf ihrer Website platzieren, um Suchmaschinen-Crawlern mitzuteilen, welche Seiten oder Bereiche der Website nicht gecrawlt oder indiziert werden sollen. Sie ist Teil des Robots Exclusion Protocol (REP).

Der Generator unterstützt über 30 KI-Crawler, darunter GPTBot (OpenAI/ChatGPT), ClaudeBot (Anthropic), Google-Extended (Gemini), PerplexityBot, Bytespider (TikTok/ByteDance), Meta-ExternalAgent (Facebook/Meta), DeepSeekBot, CCBot (Common Crawl) und viele weitere. Du kannst entweder alle KI-Crawler oder nur die für das Training verwendeten blockieren.

Viele KI-Unternehmen nutzen separate Bots. Training-Bots wie GPTBot oder ClaudeBot sammeln Daten zum Trainieren von KI-Modellen. Such-Bots wie ChatGPT-User oder Perplexity-User rufen Seiten ab, um aktuelle Informationen für Nutzeranfragen bereitzustellen. Du kannst Training blockieren, aber Suche erlauben.

Nein. Die robots.txt ist eine Richtlinie, keine zwingende Vorschrift. Seriöse Crawler wie Googlebot, Bingbot und die meisten hier aufgeführten Bots halten sich daran. Einige KI-Crawler wurden jedoch dabei erwischt, robots.txt zu ignorieren. Für sensible Inhalte solltest du zusätzliche Sicherheitsmaßnahmen verwenden.

Templates sind vorkonfigurierte Einstellungen. KI-Crawler blockieren blockiert alle KI-Bots, erlaubt aber Suchmaschinen. Nur KI-Training blockieren erlaubt KI-Suche, blockiert aber Training. Nur Suchmaschinen erlaubt nur klassische Suchmaschinen. Diese Templates kannst du nach Auswahl weiter anpassen.

Der Generator bietet vorkonfigurierte WordPress-Optionen für wp-admin, wp-includes, Suchergebnisse, Tag-Archive, Autoren-Archive und Datums-Archive. Aktiviere einfach die gewünschten Checkboxen, dann werden die entsprechenden Disallow-Regeln automatisch hinzugefügt.

Ja, du kannst beliebig viele Sitemap-URLs hinzufügen. Klicke einfach auf Weitere Sitemap hinzufügen und gib die vollständige URL ein. Alle angegebenen Sitemaps werden am Ende der robots.txt aufgeführt.

Die robots.txt-Datei muss im Root-Verzeichnis deiner Website liegen. Sie muss unter https://deine-domain.de/robots.txt erreichbar sein. Bei den meisten Hosting-Anbietern ist das das public_html- oder www-Verzeichnis.