Texte werden immer häufiger ganz oder teilweise mit einem KI-Textgenerator oder einem KI-Chatbot geschrieben.
Zwar ist der Anteil an KI-Text im Internet, in Hausaufgaben, Bachelor- oder anderen Abschlussarbeiten aktuell noch gering, wird aber wahrscheinlich in den nächsten 2 bis 3 Jahren rasant ansteigen.
Nicht nur, weil Textgeneratoren und Chatbots immer bekannter werden, sondern auch weil die Tools auch Jahr für Jahr bessere Texte produzieren.
Und das kann in vielerlei Hinsicht problematisch sein. Nicht nur für Professoren oder Lehrer, sondern z. B. auch für Website-Betreiber, die KI-Texte nutzen und eine Abstrafung von Google befürchten.
In diesem Artikel zeige ich dir nicht nur, woran du selbst KI-Texte erkennen kannst, sondern habe 14 der bekanntesten KI-Detektoren auf Herz und Nieren getestet.
Dazu habe ich 15 KI-Texte mit ChatGPT, dem OpenAI Playground und Jasper.ai generiert und überprüft, ob und mit welcher Wahrscheinlichkeit die 14 Detektoren sie als KI-Texte erkennen. Insgesamt habe ich 210 Einzeltests durchgeführt.
1. Woran kann man KI-Texte erkennen?
Es gibt einige Merkmale, in denen sich KI-Texte von menschengemachten Texten unterscheiden können. Dazu gehören:
- Geringere Variabilität bei der Wort- oder Phrasenwahl: Menschliche Texte enthalten ein größeres Spektrum an verwendeten Wörtern und Phrasen. Sie mischen z. B. häufiger formelle Sprache und Umgangssprache.
- Wiederholungen: KI-Textgeneratoren neigen dazu, häufiger Wörter, Phrasen oder inhaltliche Punkte zu wiederholen.
- Perfekte Rechtschreibung und Grammatik: Von Menschen geschriebene Texte enthalten im Gegensatz zu KI-Texten häufiger Rechtschreib- oder Grammatikfehler.
- Keine Neologismen: KI-Text enthält wenige bis gar keine Wortneuschöpfungen.
- Nur bekannte Komposita: Deutsche KI-Texte enthalten meist nur bekannte Wortzusammensetzungen (Komposita), keine neuen oder ungewöhnlichen.
- Einheitliche Formatierung: KI-Text ist oft sehr einheitlich formatiert. Texte von Menschen bieten eine größere Satzzeichenvielfalt, z. B. Gedankenstriche, Semikola, Klammern etc. oder stärker variierende Absatzlängen.
- Satzlänge und -struktur: KI-Textgeneratoren neigen dazu, kürzere Sätze mit weniger Nebensätzen zu erstellen.
- Dialekt und Umgangssprache: KI-Textgeneratoren schreiben in der Regel in der Standardsprache und enthalten wenig Dialekt (regionale Ausprägungen einer Sprache) oder Umgangssprache.
- Vorkommen von veralteten Wörtern oder Phrasen und Idiomen (KI-Texte enthalten gängigere Wörter und wenig bis gar keine Redewendungen)
Kurzum:
KI-Texte sind oft „aalglatt“ und haben keine Ecken und Kanten. Menschliche Texte zeichnen sich durch größere sprachliche Vielfalt, aber auch mehr Fehler aus.
Trotz dieser Unterschiede kann es für Menschen schwierig sein, KI-Texte zu erkennen. Das zeigte bereits eine Studie der Cornell University von 2019, in der 66 % aller Probanden KI-generierte Fake News für echt hielten.
Und das war 2019. Mittlerweile sind KI-Texte deutlich besser geworden.
Zwischen dem Output von GPT-2, dem in der Studie verwendeten Sprachmodell, und dem aktuellen Sprachmodell GPT-4, das am 13. März 2023 erschienen ist, gibt es riesige qualitative Unterschiede.
Entsprechend werden KI-Text-Detektoren (auf Englisch „AI Content Detectors“) in den nächsten Jahren zu immer wichtigeren Begleitern für Website-Betreiber, Lehrer oder Professoren werden.
2. KI-Text-Detektoren im Vergleich
| Platz | Tool | Erkennungsquote | Kann Deutsch | Preis | API |
|---|---|---|---|---|---|
| 1 | Originality.ai | 15 / 0 / 0 |  | 0,01 $ pro 100 Wörter |  |
| 2 | GPTZero | 13 / 1 / 1 | | Freemium | |
| 3 | AI Detector Pro | 13 / 1 / 1 | | Freemium | |
| 4 | Sapling | 13 / 1 / 1 | | gratis | |
| 5 | Content at Scale | 12 / 0 / 3 | | gratis | |
| 6 | Crossplag | 12 / 0 / 3 | | gratis | |
| 7 | Huggingface | 10 / 1 / 4 | | gratis | |
| 8 | Kazan SEO | 10 / 0 / 5 | | gratis | |
| 9 | CopyLeaks | 9 / 0 / 6 | | gratis | |
| 10 | OpenAI AI Text Classifier | 8 / 3 / 4 | | gratis | |
| 11 | Writer.com | 6 / 5 / 4 | | gratis | |
| 12 | GROVER | 4 / 2 / 9 | | gratis | |
| 13 | Unfluff | 0 / 0 / 15 | | gratis | |
| – | GLTR | außer Konkurrenz | | gratis | |
3. Die Testergebnisse im Detail
3.1 Originality.ai
Originality.ai ist einer der beliebtesten und bekanntesten KI-Detektoren auf dem Markt. Es kann laut eigenen Angaben KI-Text erkennen, der mit GPT-3, GPT-3.5 und GPT-4 erstellt wurde.
In unserem ersten Test im Januar 2023 schnitt es noch als zweitbestes Tool ab. Es konnte 12 von 15 KI-Texte mit hoher Sicherheit erkennen, zwei teilweise und nur einen gar nicht.
Mittlerweile haben die Entwickler das Tool deutlich verbessert:
Im aktuellen Test konnte es 15 von 15 KI-Texten erkennen und landet damit auf dem ersten Platz.
Experimente haben zudem gezeigt, dass man Originality.ai mittlerweile viel schwerer austricksen kann. Das Tool erkennt auch sehr gut KI-Texte, bei denen typische Verschleierungsmethoden wie Hinzufügen von Satzzeichen, Rechtschreib- und Grammatikfehlern, Synonymen oder das Umschreiben durch KI-Tools angewendet wurden.
Originality.ai bietet zusätzlich zur KI-Erkennung einen Plagiatschecker, der gleichzeitig mit dem KI-Detektor ausgeführt werden kann.
Die Plagiats- und KI-Überprüfung geht in der Regel sehr schnell und das Ergebnis wird übersichtlich dargestellt:
Für alle, die Text massenhaft oder in einer eigenen Software überprüfen wollen, gibt es auch eine API:
Der Preis von Originality.ai ist mit 0,01 $ pro Credit fair. Für einen Credit kannst du 100 Wörter mit dem KI-Detektor oder wahlweise mit dem Plagiatsprüfer testen.
Das heißt, für eine KI-Erkennung und Plagiatsprüfung eines Blogartikels mit 1.000 Wörtern bezahlst du 0,20 $.
Und das zahle ich gerne, denn kostenlose Tools sind oft langsamer in der Erkennung, geben öfter mal Server-Fehler wieder oder bieten tägliche Limits.
3.2 GPTZero
GPTZero ist mit über 1 Million Usern wahrscheinlich der aktuell am meisten genutzte KI-Content-Detektor weltweit.
Und das ist kein Wunder, denn GPTZero bietet eine hohe Erkennungsrate. Im Test konnte es 13 von 15 KI-Texten einwandfrei erkennen, einen gar nicht und einen mit mittlerer Sicherheit.
Leider ist es sehr anfällig gegenüber nachträglicher Bearbeitung. Schon die Änderung einzelner Zeichen kann dazu führen, dass ein kompletter Satz oder Absatz nicht mehr als KI-generiert erkannt wird.
Der Vorteil gegenüber Originality.ai:
Das Tool ist kostenlos nutzbar. Allerdings kannst du nur Texte mit maximal 5.000 Zeichen testen, was ca. 500 bis 600 Wörtern im Deutschen entspricht.
3.3 AI Detector Pro
AI Detector Pro ist neben GPTZero und Originality.ai einer meiner Favoriten im Test. Es erreichte die gleiche Erkennungsrate wie GPTZero:
Von 15 KI-Texten hat es 13 mit hoher Wahrscheinlichkeit als solche erkannt. Nur einen erkannte es gar nicht und einen mit mittlerer Wahrscheinlichkeit.
Es zeichnet sich durch eine moderne und einfache zu bedienende Benutzeroberfläche aus. Zudem werden die Testergebnisse sehr schnell generiert.
Schade ist, dass man nur 3 kostenlose Abfragen pro Tag machen kann und danach einen Bezahltarif buchen muss.
AI Detector Pro bietet auch eine API an und lässt sich als White Label nutzen. Allerdings finden sich weder auf der Website noch im Kundenbereich Preise dazu.
3.4 Sapling AI Content Detector
Der kostenlose AI Content Detector von Sapling konnte auch ein sehr gutes Ergebnis im Test erzielen.
Ebenso wie Originality.ai konnte sich auch Sapling im Vergleich zum ersten Test von Januar 2023 verbessern. Während das Tool im Januar noch 12 von 15 KI-Texten erkannte, konnte es jetzt 13 mit hoher Wahrscheinlichkeit, einen mit mittlerer Wahrscheinlichkeit und nur einen gar nicht erkennen.
Der Detektor ist minimalistisch gehalten und gehört zu den Tools, die am schnellsten ein Ergebnis liefern.
Mir gefällt sehr gut, dass die Textprüfung gestartet wird, sobald man einen Text einträgt und man nicht noch zusätzlich auf einen Button klicken muss.
3.5 Content at Scale AI Content Detection
Der AI Content Detector von Content at Scale hat als drittbestes Tool im Test abgeschnitten. Es konnte 12 von 15 KI-Texten als solche erkennen.
Du kannst Texte bis zu 2.500 Zeichen testen, was im Englischen ca. 380 bis 500 Wörtern entspricht.
Es bietet eine schöne Benutzeroberfläche mit Balkenanzeige, in welche Richtung ein Text geht. Zudem zeigt es dir Wörter und die Zeichenanzahl des eingegebenen Textes an, was selbstverständlich sein sollte, aber nicht alle Detektoren anbieten.
3.6 Crossplag AI Content Detector
Der AI Content Detector von Crossplag erziellt mit 12 von 15 erkannten KI-Texten ein genauso gutes Ergebnis im Test wie die Detektoren von Sapling und Content at Scale.
Es landet jedoch auf dem fünften Platz, weil es die KI-Texte mit insgesamt etwas geringeren Wahrscheinlichkeiten angezeigt hat.
Das Tool ist kostenlos nutzbar. Wenn häufiger hintereinander Texte testet, wird man zur Registrierung aufgefordert, kann aber den Detektor danach weiter kostenlos nutzen.
3.7 Huggingface GPT-2 Output Detector
Der GPT-2 Output Detector von Huggingface basiert auf einem RoBERTa-Modell, das Finetuning mit dem Output eines GPT-2 Modells durchlaufen hat, der von OpenAI bereitgestellt wird.
In einer kostenlos verfügbaren Online-Demo kann man Texte im Browser testen und bekommt in einem Balken unter dem Eingabefeld angezeigt, wie hoch die Wahrscheinlichkeiten sind, dass ein Text von KI und von Menschen geschrieben wurde.
Im Test erkannte es 10 von 15 KI-Texten mit hoher Wahrscheinlichkeit und einen nur geringerer Wahrscheinlichkeit. Das ist jedoch auch nicht verwunderlich, denn die KI-Texte wurden mit GPT-3.x generiert.
Leider war der Output Detector im Test nicht besonders zuverlässig. Bei jedem zweiten Test ist der Detector hängen geblieben oder hat einen Server-Fehler angezeigt.
3.8 KAZAN SEO AI GPT3 Detector
Der AI GPT3 Detector von KAZAN SEO erkannte zwei Drittel aller KI-Texte, was okay, aber nicht atemberaubend ist.
Vier der fünf Texte kamen dabei von Jasper und der fünfte nicht erkannte von ChatGPT.
Negativ ist im Test aufgefallen, dass etwa jeder zweite bis dritte Test fehlschlägt und das Tool anzeigt, der Server sei überlastet.
Wie andere Tools von KAZAN SEO ist auch der AI GPT Detector kostenlos nutzbar, erfordert jedoch eine Registrierung.
3.9 CopyLeaks AI Content Detector
Der AI Content Detector von Copy Leaks erkannte KI-Texte nur in 9 von 15 Fällen, was einer Erkennungsquote von 60 % entspricht und ein eher mittelmäßiges Ergebnis ist.
Der Detektor selbst ist einfach zu nutzen und liefert ein schnelles Ergebnis. Es gibt sogar seit Kurzem eine Chrome Extension.
Schade ist, dass das Tool keine genauen Daten zur Erkennung ausgibt, sondern lediglich, ob es sich um menschengemachten oder KI-gemachten Text handelt.
3.10 OpenAI AI Text Classifier
OpenAI hat mit dem AI Text Classifier ein eigenes Tool herausgebracht, das KI-Texte erkennen kann.
Ich hatte große Erwartungen an das Tool, aber wurde leider enttäuscht. Die Erkennungsrate des AI Text Classifiers lag nur im unteren Mittelfeld:
Es konnte nur 8 von 15 Texten mit hoher Wahrscheinlichkeit erkennen („likely/very likely AI-generated“), 3 mit mittlerer Wahrscheinlichkeit („possibly AI-generated“) und 4 („unlikely/very unlikely AI-generated“) konnte es gar nicht erkennen.
Spannend fand ich, dass es sehr zuverlässig bei den Texten der eigenen Tools (ChatGPT mit GPT-3.5 und text-davinci-003) war, aber dass es die meisten Texte von Jasper nicht als KI-Texte erkannt hat.
Der AI Text Classifier ist kostenlos nutzbar, erfordert jedoch die Einrichtung eines OpenAI-Accounts.
3.11 Writer.com AI Content Detector
Der AI Content Detector von Writer.com zählt du den drei schlechtesten Tools im Test. Es konnte nur 6 von 15 KI-Texte einwandfrei erkennen.
Man muss dem Tool allerdings zugutehalten, dass es 5 KI-Texte teilweise erkannt hat und nur 4 gar nicht.
Zudem ist das Tool einfach zu bedienen und liefert meist schnelle Resultate.
3.12 GROVER
GROVER ist ein Sprachmodell, das von Forschern der University of Washington und dem Allen Institute for Articial Intelligence (AI2) entwickelt wurde.
Es soll KI-generierte News von echten News unterscheiden.
Die kostenlose Demo des Sprachmodells machte bei der Erkennung von KI-Texten allerdings keine gute Figur:
Es konnte nur 4 von 15 KI-Texten erkennen. Bei zwei Texten, die das Tool als menschengemacht erkannt hat, hat es immerhin eine geringere Wahrscheinlichkeit für seine Einschätzung ausgegeben.
Die schlechte Erkennungsquote liegt wahrscheinlich daran, dass das Tool (genauso wie das dazugehörige Research Paper) aus 2019 stammt und seitdem nicht mehr verbessert wurde.
3.13 Unfluff
Unfluff ist eine kostenlose App, die Texte auf ihre Lesbarkeit analysiert. Sie soll nicht nur unnötige Füllwörter oder zu lange Sätze erkennen können, sondern auch KI-Text. Unfluff gibt es auch als WordPress-Plugin.
In der Praxis funktioniert das leider wenig bis gar nicht.
Bei 10 von 15 KI-Texten lag der Fluff Score bei 100 von 100. Bei 5 von 15 Texten war der Fluff Score unter 100, aber lag zwischen 76 und 99 %, also als „erkannt“ kann man das nicht bezeichnen.
Weiteres nerviges Manko:
Die App ist extrem langsam. So langsam, dass sie fast unbrauchbar ist.
3.14 GLTR (außer Konkurrenz)
GLTR (kurz für Giant Language Model Test Room) ist ein gemeinsames Projekt vom MIT-IBM Watson AI Lab und HarvardNLP.
Ähnlich wie der GPT-2 Output Detector hat das Tool Zugriff auf GPT-2 (in der 117M-Version) und analysiert Texteingaben daraufhin, was GPT-2 an jeder Stelle vorhergesagt hätte.
Im Gegensatz zu anderen Detektoren gibt es jedoch keine Wahrscheinlichkeiten dafür aus, ob ein Text von einem Menschen oder einem KI-Tool geschrieben wurde (weswegen es nur bedingt mit den anderen Tools vergleichbar und im Test außer Konkurrenz ist).
Stattdessen legt es eine Farbmaske über den Text, die anzeigt, wie wahrscheinlich jedes Wort bei einem Text wäre, der von GPT-2 generiert ist:
Ein Wort, das zu den wahrscheinlichsten Wörtern gehört, wird grün (Top 10), gelb (Top 100), rot (Top 1.000) und der Rest der Wörter violett hervorgehoben.
Das heißt, je mehr grüne und je weniger rote und violettfarbene Wörter ein Text enthält, desto eher ist er von GPT-2 geschrieben.
Das Tool kann man als Demo kostenlos nutzen.
4. Testmethodik
Ich habe 15 englische Texte mit KI erstellt, die alle eine Länge zwischen 80 und 250 Wörtern haben. Dafür habe ich folgende 3 Tools benutzt:
- Jasper.ai (den Prompt habe ich in ein Dokument eingegeben und die Weiterschreiben-Funktion genutzt)
- GPT-3 über dem OpenAI Playground (
text-davinci-003mit Temperature 0.7 und Top P 1) - ChatGPT (mit GPT-3.5 Legacy)
Die verwendeten Prompts habe ich einfach gehalten. Sie lauteten wie folgt:
- How do I plant a maple tree?
- Feeding a cat
- Cryptocurrency is
- Water is a scarce resource
- The dangers of artificial intelligence
Die Erkennungsquote in der Tabelle ergibt sich aus folgenden 3 Kennwerten, wobei der erste die meiste Gewichtung hat.
Der zweite Kennwert wird zum Zünglein an der Waage, wenn zwei Tools beim ersten Kennwert gleichauf liegen:
- Mit hoher Wahrscheinlichkeit ein KI-Text (75 % bis 100 %)
- Vielleicht ein KI-Text (25 % bis 74,9 %)
- Mit hoher Wahrscheinlichkeit kein KI-Text (0 % bis 24,9 %)
5. Wie funktionieren KI-Detektoren?
Detektoren verwenden unterschiedliche Herangehensweisen, um KI-Texte zu erkennen:
5.1 Einfache Textanalyse
Die einfachste, aber auch unzuverlässigere Art, um KI-Texte zu erkennen, ist es, dessen Eigenschaften analysieren, z. B. in puncto Lesbarkeit und Häufigkeiten:
- Häufigkeit von Wörtern (funktioniert vor allem bei großen Textmengen)
- Häufigkeit von Lemmata (der Grundform von Wörtern)
- TF-IDF (man vergleicht die Häufigkeit eines Wortes in einem Text mit der Häufigkeit in einem Vergleichskorpus)
- Wiederholungshäufigkeit von N-Grammen (eine bestimmte Anzahl zusammenhängender Wörtern)
- Flesch Index
- Gunning Fog Index
5.2 Neuronale Sprachmodelle (NLMs)
Der bessere Weg zur Erkennung von KI-Texten ist es, ähnliche neuronale Sprachmodelle zu verwenden, die auch zur Textgenerierung eingesetzt werden.
Das ist die Herangehensweise, die vermutlich die meisten hier getesteten KI-Detektoren verfolgen.
Zum Training solcher wird aktuell primär RoBERTa eingesetzt. Zum generellen Finetuning solcher neuronalen Sprachmodelle kann zum Beispiel Output von GPT-2 verwendet werden.
Dabei erzielen KI-Detektoren laut Crothers et al. oft bessere Ergebnisse, wenn sie zusätzlich für eine bestimmte Nische oder einen bestimmen Anwendungsbereich trainiert werden, z. B. zur Erkennung von Fake News, Twitter-Bots oder Reddit.
6. Watermarking bei KI-Texten
Um zu verhindern, dass KI-Textgeneratoren und KI-Chatbots nicht für kriminelle oder ethisch fragwürdige Zwecke missbraucht werden, kann es sein, dass KI-Text in Zukunft mit Watermarking versehen wird.
Darunter versteht man, dass in den Text bestimmte sprachliche Muster integriert werden, die maschinell erkennbar sind, aber sich nicht durch einfaches Umschreiben entfernen lassen.
Eine vielversprechende Herangehensweise ist zum Beispiel der Adversial Watermarking Transformer (AWT), der von Forschern des CISPA (Helmholtz Center for Information Security) entwickelt wurde.
Auch OpenAI forscht aktuell auch an Watermarking, um KI-Texte zu erkennen, wie man einem Blogartikel von Scott Aaronson, entnehmen kann.
7. FAQ
Hier habe ich dir Antworten auf häufige Fragen rund um die Erkennung von KI-Texten zusammengestellt:
Kann Google KI-Texte erkennen?
Ich halte es für sehr wahrscheinlich, dass Google verschiedene Arten von automatisch generierten oder veränderten Texten erkennen kann und in Zukunft noch besser darin werden wird.
Hinweise darauf finden sich etwa in Googles-Blogartikel zum Helpful Content Update, der in einer Selbsttest-Liste den Punkt „Nutzt ihr umfangreiche Automatisierung, um Inhalte zu vielen Themen zu erstellen?“ enthält.
Dabei kann Google wahrscheinlich nicht nur einfachen „Spun-Content“ (maschinell umgeschriebener Content) oder Texte aus einem Zufallsgenerator erkennen, sondern auch Content, der durch KI-basierte Sprachmodelle wie GPT-2 und GPT-3 erzeugt wurde.
Für wen ist es wichtig, KI-Text zu erkennen?
Für folgende Personengruppen könnte es aktuell oder in Zukunft wichtig sein, KI-Text zu erkennen:
- Lehrer: Hausaufgaben oder sogar Klassenarbeiten könnten in Zukunft immer häufiger mit KI-Textgeneratoren geschrieben oder gelöst werden.
- Professoren: Auch Hausarbeiten, Bachelor-, Master- oder Examensarbeiten können zu kleinen oder auch großen Teilen von KI geschrieben werden.
- SEOs: Es ist davon auszugehen, dass Suchmaschinen wie Google oder Bing in den nächsten Jahren immer besser darin werden, KI-Text zu erkennen und die dazugehörigen Webseiten oder Websites abstrafen könnten. SEOs, sie selbst KI-Textgeneratoren nutzen, sollten also KI-Text testen.
- Website-Käufer: Wer eine Website kauft, möchte vorher wissen, ob deren Inhalte von KI oder von Menschen geschrieben wurden.
- Text-Auftraggeber: Wer einen Journalisten, Autoren oder Texter beauftragt, möchte mitunter sicherstellen, dass dieser sich nicht einfach KI-Tools bedient, statt den Text selbst zu schreiben.
Erkennen KI-Text-Detektoren auch Plagiate?
Es gibt Textdetektoren wie Originality.ai, die nicht nur KI-Texte erkennen, sondern Texte gleichzeitig auch auf Plagiate überprüfen können.
Allerdings handelt es sich um zwei verschiedene Prozesse. Bei der Plagiatsüberprüfung werden Texte mit einer Datenbank aus Internet-Texten, Büchern oder wissenschaftlichen Arbeiten verglichen. Bei der Überprüfung auf KI-Text hingegen wird (einfach gesagt) ein Text mit einem Korpus aus KI-Texten abgeglichen.
