ChatGPT oder menschlicher Autor?

Fraunhofer SIT forscht an automatisierten Erkennungsmöglichkeiten

Ob Bewerbungsanschreiben, Schulaufsätze Prüfungen oder Programmcodes – mit der Text-KI ChatGPT lassen sich Texte aller Art innerhalb von Sekunden automatisch generieren. Das klappt mal mehr, mal weniger gut – und oft gelingt es Menschen nicht, das Ergebnis verlässlich einzustufen als KI-generiert oder von Menschenhand verfasst.

ChatGPT-Texte erkennen mit Autorschaftsverifikation

Das Fraunhofer SIT forscht an Möglichkeiten, mit ChatGPT erstellte Texte erkennen zu helfen. Unsere textforensischen Expert*innen arbeiten dabei unter anderem mit einer selbst entwickelten Methode zur Autorschaftsverifikation, COAV: Ursprünglich wurde es genutzt, um beispielsweise Plagiate in wissenschaftlichen Arbeiten zu erkennen. Da COAV Texte auf stilistischer Basis vergleicht, lässt sich diese Methode auch für die Erkennung von einem bestimmten "Autor" nutzen, nämlich ChatGPT. Damit werden über Ähnlichkeiten von Textbausteinen und typische aufeinanderfolgende Buchstabenketten die Distanzen zwischen Texten errechnet: Ist der Text näher an GPT oder näher an einem Menschen?

Unser IT-Forensik-Experte Lukas Graner hat dies beispielhaft an Nachrichtentexten demonstriert: Vorhandene Online-Nachrichten, von (menschlichen) Journalist*innen verfasst, hat er über ChatGPT umformulieren lassen und mit dem Tool getestet. Blau markierte Textstellen zeigen an, dass sie eher ein Mensch geschrieben hat, rote Markierungen stehen für ChatGPT.

Die Grafiken zeigen anschaulich das Ergebnis: Im ersten Fall sieht man einen Ausschnitt aus einem nachrichtlichen Text aus der Süddeutschen Zeitung mit Markierungen - aufsummiert im Ergebnischart sieht man, dass der blaue Anteil überwiegt. Das Ergebnis: Wahrscheinlich hat ein Mensch diesen Text verfasst.

Für das zweite Beispiel wurde der nachrichtliche Text von ChatGPT mit eigenen stilistischen Präferenzen umformuliert und danach mit COAV getestet. Das Ergebnis zeigt: Dieser Text wurde maschinell erstellt.

Weitere Methoden zur Erkennung von ChatGPT-Texten

Es gibt noch weitere Forschungsansätze in der Textforensik, die sich damit befassen, wie sich ChatGPT-Texten auf die Schliche kommen lässt – ebenfalls mit automatisierten KI-Tools. Es gibt beispielsweise