Texte werden immer häufiger ganz oder teilweise mit einem KI-Textgenerator geschrieben.
Zwar ist der Anteil an KI-Text im Internet, in Hausaufgaben, Bachelor- oder anderen Abschlussarbeiten aktuell noch gering, wird aber in den nächsten 2 bis 3 Jahren rasant ansteigen.
Nicht nur, weil Textgeneratoren immer bekannter werden, sondern die Tools auch Jahr für Jahr bessere Texte produzieren.
Und das kann in vielerlei Hinsicht problematisch sein. Nicht nur für Professoren oder Lehrer, sondern auch für Website-Betreiber, die KI-Texte nutzen und eine Abstrafung von Google befürchten.
In diesem Artikel zeigen ich dir nicht nur, woran du selbst KI-Texte erkennen kannst, sondern habe 12 Tools getestet, mit denen du überprüfen kannst, wie hoch der KI-Anteil an einem Text ist.
Wie erkennt man KI-Texte?
Es gibt einige Merkmale, in denen sich KI-Texte von menschengemachten Texten unterscheiden können. Dazu gehören:
- Geringere Variabilität bei der Wort- oder Phrasenwahl: Menschliche Texte enthalten ein größeres Spektrum an verwendeten Wörtern und Phrasen. Sie mischen z. B. häufiger formelle Sprache und Umgangssprache.
- Wiederholungen: KI-Textgeneratoren neigen dazu, häufiger Wörter, Phrasen oder inhaltliche Punkte zu wiederholen.
- Perfekte Rechtschreibung und Grammatik: Von Menschen geschriebene Texte enthalten im Gegensatz zu KI-Texten häufiger Rechtschreib- oder Grammatikfehler.
- Keine Neologismen: KI-Text enthält wenige bis gar keine Wortneuschöpfungen.
- Nur bekannte Komposita: Deutsche KI-Texte enthalten meist nur bekannte Wortzusammensetzungen (Komposita), keine neuen oder ungewöhnlichen.
- Einheitliche Formatierung: KI-Text ist oft sehr einheitlich formatiert. Texte von Menschen bieten eine größere Satzzeichenvielfalt, z. B. Gedankenstriche, Semikola, Klammern etc. oder stärker variierende Absatzlängen.
- Satzlänge und -struktur: KI-Textgeneratoren neigen dazu, kürzere Sätze mit weniger Nebensätzen zu erstellen.
- Dialekt und Umgangssprache: KI-Textgeneratoren schreiben in der Regel in der Standardsprache und enthalten wenig Dialekt (regionale Ausprägungen einer Sprache) oder Umgangssprache.
- Vorkommen von veralteten Wörtern oder Phrasen und Idiomen (KI-Texte enthalten gängigere Wörter und wenig bis gar keine Redewendungen)
Kurzum:
KI-Texte sind oft „aalglatt“ und haben keine Ecken und Kanten. Menschliche Texte zeichnen sich durch größere sprachliche Vielfalt, aber auch mehr Fehler aus.
Trotz dieser Unterschiede kann es für Menschen schwierig sein, KI-Texte zu erkennen. Das zeigte bereits eine Studie der Cornell University von 2019, in der 66 % aller Probanden KI-generierte Fake News für echt hielten.
Und das war 2019. Mittlerweile sind KI-Texte deutlich besser geworden.
Zwischen dem Output von GPT-2, dem in der Studie verwendeten Sprachmodell, und ChatGPT, das auf dem aktuellen Sprachmodell GPT-3.5 beruht, sieht man bereits riesige qualitative Unterschiede. GPT-4, das wahrscheinlich in der ersten Jahreshälfte 2023 herauskommt, wird vermutlich ebenfalls ein großer Sprung nach vorne werden.
Entsprechend werden KI-Text-Detektoren (auf Englisch „AI Content Detectors“) in den nächsten Jahren zu immer wichtigeren Begleitern für Website-Betreiber, Lehrer oder Professoren werden.
Übersicht über alle KI-Text-Detektoren
| Platz | Tool | Erkennungsquote | Kann Deutsch | Preis |
|---|---|---|---|---|
| 1 | Poem of Quotes | 13 / 0 / 2 | Nein | gratis |
| 2 | Originality.ai | 12 / 2 / 1 | Nein | 0,01 $ pro 100 Wörter |
| 3 | Content at Scale | 12 / 0 / 3 | Nein | gratis |
| 4 | Sapling | 12 / 0 / 3 | Nein | gratis |
| 5 | Crossplag | 12 / 0 / 3 | Nein | gratis |
| 6 | Huggingface | 10 / 1 / 4 | Nein | gratis |
| 7 | Kazan SEO | 10 / 0 / 5 | Nein | gratis |
| 8 | CopyLeaks | 9 / 0 / 5 | Nein | gratis |
| 9 | Writer.com | 6 / 5 / 4 | Nein | gratis |
| 10 | GROVER | 4 / 2 / 9 | Nein | gratis |
| 11 | Unfluff | 0 / 0 / 15 | Nein | gratis |
| – | GLTR | außer Konkurrenz | Nein | gratis |
1. Poem of Quotes GPT-3 AI Content Detector
Der AI Content Detector von Poem of Quotes hat insgesamt 13 von 15 KI-Texten als solche erkannt und damit am besten im Test abgeschnitten.
Schade ist, dass das Tool nur vier Abfragen pro Tag erlaubt und dass man maximal 200 Wörter testen kann.
Zudem werden keine Wahrscheinlichkeiten ausgegeben, wie bei anderen Erkennungs-Tools. Man bekommt lediglich angezeigt, ob ein Text von einem Menschen oder einer KI geschrieben wurde oder nicht (das heißt, je nach den festgelegten Limits, könnte es sein, dass das Tool eigentlich schlechter abschneidet als Originality.ai, das zweitplatzierte Tool).
2. Originality.ai
Originality.ai ist KI-Detektor, der laut eigenen Angaben KI-Text erkennen kann, der mit GPT-3, GPT-3.5 und ChatGPT erstellt wurde.
Im Test schnitt es als zweitbestes Tool ab. Es konnte 12 von 15 KI-Texte mit hoher Sicherheit erkennen, zwei teilweise und nur einen gar nicht.
Zusätzlich bietet das Tool einen Plagiatschecker, der gleichzeitig mit dem KI-Detektor ausgeführt werden kann.
Die Plagiats- und KI-Überprüfung geht in der Regel sehr schnell und das Ergebnis wird übersichtlich dargestellt:
Für alle, die Text massenhaft oder in einer eigenen Software überprüfen wollen, gibt es auch eine API:
Der Preis von Originality.ai ist mit 0,01 $ pro Credit fair. Für einen Credit kannst du 100 Wörter mit dem KI-Detektor oder wahlweise mit dem Plagiatsprüfer testen.
Das heißt, für eine KI-Erkennung und Plagiatsprüfung eines Blogartikels mit 1.000 Wörtern bezahlst du 0,20 $.
Und das zahle ich gerne, denn kostenlose Tools sind oft langsamer in der Erkennung, geben öfter mal Server-Fehler wieder oder bieten tägliche Limits.
3. Content at Scale AI Content Detection
Der AI Content Detector von Content at Scale hat als drittbestes Tool im Test abgeschnitten. Es konnte 12 von 15 KI-Texten als solche erkennen.
Du kannst Texte bis zu 2.500 Zeichen testen, was im Englischen ca. 380 bis 500 Wörtern entspricht.
Es bietet eine schöne Benutzeroberfläche mit Balkenanzeige, in welche Richtung ein Text geht. Zudem zeigt es dir Wörter und die Zeichenanzahl des eingegebenen Textes an, was selbstverständlich sein sollte, aber nicht alle Detektoren anbieten.
4. Sapling AI Content Detector
Der kostenlose AI Content Detector von Sapling hat im Test 12 von 15 KI-Texten erkannt, was ein gutes Ergebnis ist.
Der Detektor ist minimalistisch gehalten und gehört zu den Tools, die am schnellsten ein Ergebnis liefern.
Mit gefällt sehr gut, dass das Tool gestartet wird, sobald man einen Text einträgt und man nicht noch zusätzlich auf einen Button klicken muss.
5. Crossplag AI Content Detector
Der AI Content Detector von Crossplag erziellt mit 12 von 15 erkannten KI-Texten ein genauso gutes Ergebnis im Test wie die Detektoren von Sapling und Content at Scale.
Es landet jedoch auf dem fünften Platz, weil es die KI-Texte mit insgesamt etwas geringeren Wahrscheinlichkeiten angezeigt hat.
Das Tool ist kostenlos nutzbar. Wenn häufiger hintereinander Texte testet, wird man zur Registrierung aufgefordert, kann aber den Detektor danach weiter kostenlos nutzen.
6. Huggingface GPT-2 Output Detector
Der GPT-2 Output Detector von Huggingface basiert auf einem RoBERTa-Modell, das Finetuning mit dem Output eines GPT-2 Modells durchlaufen hat, der von OpenAI bereitgestellt wird.
In einer kostenlos verfügbaren Online-Demo kann man Texte im Browser testen und bekommt in einem Balken unter dem Eingabefeld angezeigt, wie hoch die Wahrscheinlichkeiten sind, dass ein Text von KI und von Menschen geschrieben wurde.
Im Test erkannte es 10 von 15 KI-Texten mit hoher Wahrscheinlichkeit und einen nur geringerer Wahrscheinlichkeit. Das ist jedoch auch nicht verwunderlich, denn die KI-Texte wurden mit GPT-3.x generiert.
Leider war der Output Detector im Test nicht besonders zuverlässig. Bei jedem zweiten Test ist der Detector hängen geblieben oder hat einen Server-Fehler angezeigt.
7. KAZAN SEO AI GPT3 Detector
Der AI GPT3 Detector von KAZAN SEO erkannte zwei Drittel aller KI-Texte, was okay, aber nicht atemberaubend ist.
Vier der fünf Texte kamen dabei von Jasper und der fünfte nicht erkannte von ChatGPT.
Negativ ist im Test aufgefallen, dass etwa jeder zweite bis dritte Test fehlschlägt und das Tool anzeigt, der Server sei überlastet.
Wie andere Tools von KAZAN SEO ist auch der AI GPT Detector kostenlos nutzbar, erfordert jedoch eine Registrierung.
8. CopyLeaks AI Content Detector
Der AI Content Detector von Copy Leaks erkannte KI-Texte nur in 9 von 15 Fällen, was einer Erkennungsquote von 60 % entspricht und ein eher mittelmäßiges Ergebnis ist.
Der Detektor selbst ist einfach zu nutzen und liefert ein schnelles Ergebnis. Es gibt sogar seit Kurzem eine Chrome Extension.
Schade ist, dass das Tool keine genauen Daten zur Erkennung ausgibt, sondern lediglich, ob es sich um menschengemachten oder KI-gemachten Text handelt.
9. Writer.com AI Content Detector
Der AI Content Detector von Writer.com zählt du den drei schlechtesten Tools im Test. Es konnte nur 6 von 15 KI-Texte einwandfrei erkennen.
Man muss dem Tool allerdings zugutehalten, dass es 5 KI-Texte teilweise erkannt hat und nur 4 gar nicht.
Zudem ist das Tool einfach zu bedienen und liefert meist schnelle Resultate.
10. GROVER
GROVER ist ein Sprachmodell, das von Forschern der University of Washington und dem Allen Institute for Articial Intelligence (AI2) entwickelt wurde.
Es soll KI-generierte News von echten News unterscheiden.
Die kostenlose Demo des Sprachmodells machte bei der Erkennung von KI-Texten allerdings keine gute Figur:
Es konnte nur 4 von 15 KI-Texten erkennen. Bei zwei Texten, die das Tool als menschengemacht erkannt hat, hat es immerhin eine geringere Wahrscheinlichkeit für seine Einschätzung ausgegeben.
Die schlechte Erkennungsquote liegt wahrscheinlich daran, dass das Tool (genauso wie das dazugehörige Research Paper) aus 2019 stammt und seitdem nicht mehr verbessert wurde.
11. Unfluff
Unfluff ist eine kostenlose App, die Texte auf ihre Lesbarkeit analysiert. Sie soll nicht nur unnötige Füllwörter oder zu lange Sätze erkennen können, sondern auch KI-Text. Unfluff gibt es auch als WordPress-Plugin.
In der Praxis funktioniert das leider wenig bis gar nicht.
Bei 10 von 15 KI-Texten lag der Fluff Score bei 100 von 100. Bei 5 von 15 Texten war der Fluff Score unter 100, aber lag zwischen 76 und 99 %, also als „erkannt“ kann man das nicht bezeichnen.
Weiteres nerviges Manko:
Die App ist extrem langsam. So langsam, dass sie fast unbrauchbar ist.
12. GLTR (außer Konkurrenz)
GLTR (kurz für Giant Language Model Test Room) ist ein gemeinsames Projekt vom MIT-IBM Watson AI Lab und HarvardNLP.
Ähnlich wie der GPT-2 Output Detector hat das Tool Zugriff auf GPT-2 (in der 117M-Version) und analysiert Texteingaben daraufhin, was GPT-2 an jeder Stelle vorhergesagt hätte.
Im Gegensatz zu anderen Detektoren gibt es jedoch keine Wahrscheinlichkeiten dafür aus, ob ein Text von einem Menschen oder einem KI-Tool geschrieben wurde (weswegen es nur bedingt mit den anderen Tools vergleichbar und im Test außer Konkurrenz ist).
Stattdessen legt es eine Farbmaske über den Text, die anzeigt, wie wahrscheinlich jedes Wort bei einem Text wäre, der von GPT-2 generiert ist:
Ein Wort, das zu den wahrscheinlichsten Wörtern gehört, wird grün (Top 10), gelb (Top 100), rot (Top 1.000) und der Rest der Wörter violett hervorgehoben.
Das heißt, je mehr grüne und je weniger rote und violettfarbene Wörter ein Text enthält, desto eher ist er von GPT-2 geschrieben.
Das Tool kann man als Demo kostenlos nutzen.
Testmethodik
Ich habe 15 englische Texte mit KI erstellt, die alle eine Länge zwischen 80 und 250 Wörtern haben. Dafür habe ich folgende 3 Tools benutzt:
- Jasper.ai (den Prompt habe ich in ein Dokument eingegeben und die Weiterschreiben-Funktion genutzt)
- GPT-3 über dem OpenAI Playground (text-davinci-003 mit Temperature 0.7 und Top P 1)
- ChatGPT
Die verwendeten Prompts habe ich einfach gehalten. Sie lauteten wie folgt:
- How do I plant a maple tree?
- Feeding a cat
- Cryptocurrency is
- Water is a scarce resource
- The dangers of artificial intelligence
Die Erkennungsquote in der Tabelle ergibt sich aus folgenden 3 Kennwerten, wobei der erste die meiste Gewichtung hat.
Der zweite Kennwert wird zum Zünglein an der Waage, wenn zwei Tools beim ersten Kennwert gleichauf liegen:
- Mit hoher Wahrscheinlichkeit ein KI-Text (75 % bis 100 %)
- Vielleicht ein KI-Text (25 % bis 74,9 %)
- Mit hoher Wahrscheinlichkeit kein KI-Text (0 % bis 24,9 %)
Wie funktionieren KI-Detektoren?
Detektoren verwenden unterschiedliche Herangehensweisen, um KI-Texte zu erkennen:
1. Einfache Textanalyse
Die einfachste, aber auch unzuverlässigere Art, um KI-Texte zu entlarven, ist es, dessen Eigenschaften analysieren, z. B. in puncto Lesbarkeit und Häufigkeiten:
- Häufigkeit von Wörtern (funktioniert vor allem bei großen Textmengen)
- Häufigkeit von Lemmata (der Grundform von Wörtern)
- TF-IDF (man vergleicht die Häufigkeit eines Wortes in einem Text mit der Häufigkeit in einem Vergleichskorpus)
- Wiederholungshäufigkeit von N-Grammen (eine bestimmte Anzahl zusammenhängender Wörtern)
- Flesch Index
- Gunning Fog Index
2. Neuronale Sprachmodelle (NLMs)
Der bessere Weg zur Erkennung von KI-Texten ist es, ähnliche neuronale Sprachmodelle zu verwenden, die auch zur Textgenerierung eingesetzt werden.
Das ist die Herangehensweise, die vermutlich die meisten hier getesteten KI-Detektoren verfolgen.
Zum Training solcher wird aktuell primär RoBERTa eingesetzt. Zum generellen Finetuning solcher neuronalen Sprachmodelle kann zum Beispiel Output von GPT-2 verwendet werden.
Dabei performen KI-Detektoren laut Crothers et al. oft besser, wenn sie zusätzlich für eine bestimmte Nische oder einen bestimmen Anwendungsbereich trainiert werden, z. B. zur Erkennung von Fake News, Twitter-Bots oder Reddit.
Watermarking bei KI-Texten
Um zu verhindern, dass KI-Textgeneratoren nicht für kriminelle oder ethisch fragwürdige Zwecke missbraucht werden, kann es sein, dass KI-Text in Zukunft mit Watermarking versehen wird.
Darunter versteht man, dass in den Text bestimmte sprachliche Muster integriert werden, die maschinell erkennbar sind, aber sich nicht durch einfaches Umschreiben entfernen lassen.
Eine vielversprechende Herangehensweise ist zum Beispiel der Adversial Watermarking Transformer (AWT), der von Forschern des CISPA (Helmholtz Center for Information Security) entwickelt wurde.
Auch OpenAI forscht aktuell an Watermarking, wie man einem Blogartikel von Scott Aaronson, entnehmen kann.
FAQ
Hier habe ich dir Antworten auf häufige Fragen rund um die Erkennung von KI-Texten zusammengestellt:
Kann Google KI-Texte erkennen?
Ich halte es für sehr wahrscheinlich, dass Google verschiedene Arten von automatisch generierten oder veränderten Texten erkennen kann und in Zukunft noch besser darin werden wird.
Hinweise darauf finden sich etwa in Googles-Blogartikel zum Helpful Content Update, der in einer Selbsttest-Liste den Punkt „Nutzt ihr umfangreiche Automatisierung, um Inhalte zu vielen Themen zu erstellen?“ enthält.
Dabei kann Google wahrscheinlich nicht nur einfachen „Spun-Content“ (maschinell umgeschriebener Content) oder Texte aus einem Zufallsgenerator erkennen, sondern auch Content, der durch KI-basierte Sprachmodelle wie GPT-2 und GPT-3 erzeugt wurde.
Für wen ist es wichtig, KI-Text zu erkennen?
Für folgende Personengruppen könnte es aktuell oder in Zukunft wichtig sein, KI-Text zu erkennen:
- Lehrer: Hausaufgaben oder sogar Klassenarbeiten könnten in Zukunft immer häufiger mit KI-Textgeneratoren geschrieben oder gelöst werden.
- Professoren: Auch Hausarbeiten, Bachelor-, Master- oder Examensarbeiten können zu kleinen oder auch großen Teilen von KI geschrieben werden.
- SEOs: Es ist davon auszugehen, dass Suchmaschinen wie Google oder Bing in den nächsten Jahren immer besser darin werden, KI-Text zu erkennen und die dazugehörigen Webseiten oder Websites abstrafen könnten. SEOs, sie selbst KI-Textgeneratoren nutzen, sollten also KI-Text testen.
- Website-Käufer: Wer eine Website kauft, möchte vorher wissen, ob deren Inhalte von KI oder von Menschen geschrieben wurden.
- Text-Auftraggeber: Wer einen Journalisten, Autoren oder Texter beauftragt, möchte mitunter sicherstellen, dass dieser sich nicht einfach KI-Tools bedient, statt den Text selbst zu schreiben.
Erkennen KI-Text-Detektoren auch Plagiate?
Es gibt Textdetektoren wie Originality.ai, die nicht nur KI-Texte erkennen, sondern Texte gleichzeitig auch auf Plagiate überprüfen können.
Allerdings handelt es sich um zwei verschiedene Prozesse. Bei der Plagiatsüberprüfung werden Texte mit einer Datenbank aus Internet-Texten, Büchern oder wissenschaftlichen Arbeiten verglichen. Bei der Überprüfung auf KI-Text hingegen wird (einfach gesagt) ein Text mit einem Korpus aus KI-Texten abgeglichen.
