Ob Bewerbungsanschreiben, Schulaufsätze Prüfungen oder Programmcodes – mit der Text-KI ChatGPT lassen sich Texte aller Art innerhalb von Sekunden automatisch generieren. Das klappt mal mehr, mal weniger gut – und oft gelingt es Menschen nicht, das Ergebnis verlässlich einzustufen als KI-generiert oder von Menschenhand verfasst.

ChatGPT-Texte erkennen mit Autorschaftsverifikation

Das Fraunhofer SIT forscht an Möglichkeiten, mit ChatGPT erstellte Texte erkennen zu helfen. Unsere textforensischen Expert*innen arbeiten dabei unter anderem mit einer selbst entwickelten Methode zur Autorschaftsverifikation, COAV: Ursprünglich wurde es genutzt, um beispielsweise Plagiate in wissenschaftlichen Arbeiten zu erkennen. Da COAV Texte auf stilistischer Basis vergleicht, lässt sich diese Methode auch für die Erkennung von einem bestimmten "Autor" nutzen, nämlich ChatGPT. Damit werden über Ähnlichkeiten von Textbausteinen und typische aufeinanderfolgende Buchstabenketten die Distanzen zwischen Texten errechnet: Ist der Text näher an GPT oder näher an einem Menschen?

Unser IT-Forensik-Experte Lukas Graner hat dies beispielhaft an Nachrichtentexten demonstriert: Vorhandene Online-Nachrichten, von (menschlichen) Journalist*innen verfasst, hat er über ChatGPT umformulieren lassen und mit dem Tool getestet. Blau markierte Textstellen zeigen an, dass sie eher ein Mensch geschrieben hat, rote Markierungen stehen für ChatGPT.

Die Grafiken zeigen anschaulich das Ergebnis: Im ersten Fall sieht man einen Ausschnitt aus einem nachrichtlichen Text aus der Süddeutschen Zeitung mit Markierungen - aufsummiert im Ergebnischart sieht man, dass der blaue Anteil überwiegt. Das Ergebnis: Wahrscheinlich hat ein Mensch diesen Text verfasst.

Für das zweite Beispiel wurde der nachrichtliche Text von ChatGPT mit eigenen stilistischen Präferenzen umformuliert und danach mit COAV getestet. Das Ergebnis zeigt: Dieser Text wurde maschinell erstellt.

Es gibt noch weitere Forschungsansätze in der Textforensik, die sich damit befassen, wie sich ChatGPT-Texten auf die Schliche kommen lässt – ebenfalls mit automatisierten KI-Tools. Es gibt beispielsweise

• GPT Zero: eine App, die ein Informatikstudent der Priceton University entwickelt hat (https://gptzero.me/)
• DetectGPT: eine Web-App, die noch in der Experimentierphase ist (https://detectgpt.ericmitchell.ai/, das paper dazu findet sich hier: https://arxiv.org/pdf/2301.11305v1.pdf)
• Watermarking for Large Language Models: Ein Vorschlag von Forschenden der Universität Maryland – sie zeigen, wie sich digitale Wasserzeichen in maschinell generierte Texte einflechten lassen, sodass direkt angezeigt werden kann, dass es sich hier um einen KI-Text handelt, der ohne menschliche Hilfe entstanden ist. https://deepai.org/publication/a-watermark-for-large-language-models