FAQ Deepfakes

Schüler*innen fragen - Martin Steinebach antwortet

Prof. Martin Steinebach leitet die Abteilung IT-Forensik und Media Security am Fraunhofer SIT. Er und sein Team forschen u.a. an der technischen Erkennung von KI-generierten Bildern, Texten, Videos und Audio-Dateien. Im Rahmen des Forschungszentrums ATHENE ist am Fraunhofer SIT inzwischen ein Labor mit IT-forensischen Werkzeugen entstanden, um Manipulationen in verschiedenen Bereichen aufzudecken.

Mehr zur ATHENE-Forschung "Aufdecken von manipulierten Medieninhalten"

Martin Steinebach wird oft als technischer Experte von Schülerinnen und Schülern angefragt, die sich im Rahmen von Schulprojekten mit allen möglichen Fragen rund um Künstliche Intelligenz beschäftigen.

Hier sind die Antworten auf die häufigsten Fragen zusammengefasst: 

Welche Definition von „Deepfake“ verwenden Sie in der wissenschaftlichen Praxis?

Ein Deepfake ist ein künstlich erzeugtes oder verändertes Bild-, Audio- oder Videomaterial, das mithilfe von Deep Learning (einer Form von Künstlicher Intelligenz (KI)) so realistisch wirkt, dass es schwer von echten Aufnahmen zu unterscheiden ist.

Das zusammengesetzte Wort Deepfake erklärt sich dann auch durch Deep für Deep Learning und Fake für eine Täuschung bzw. etwas Unechtes. Der Begriff hat sich im Laufe der Zeit verändert. Am Anfang (2017) waren Deepfakes ausschließlich Videos, in denen ein Gesicht mit KI ausgetauscht wurde.

Was kann jede/-r einzelne selbst gegen Deepfakes tun?

Wenn ein Bild, ein Video oder eine Sprachnachricht sehr emotional, schockierend oder überraschend wirkt, sollte man kurz innehalten und sich fragen, ob es wirklich echt sein kann. Man kann dann beispielsweise versuchen, das Dargestellte zu überprüfen, indem man sich andere Quellen sucht. Wichtige Geschehnisse werden selten nur von einer Person oder Institution verbreitet. Folglich ist das Überprüfen der Quellen ein wichtiger Schritt. Man sollte sich immer fragen, ob das Material aus einer seriösen Quelle stammt, ob es auch in anderen glaubwürdigen Medien auftaucht oder ob es von einer offiziellen Stelle veröffentlicht wurde.

Da Deepfakes oft kleine Fehler enthalten, lohnt es sich außerdem, genau auf Details zu achten. Unnatürliches Blinzeln, seltsame Schatten, ungleiche oder falsch dargestellte Accessoires wie Ohrringe oder Brillen, unsaubere Übergänge im Gesicht oder unlogische Körperbewegungen können Hinweise auf Manipulation sein. Auch die Stimme kann manchmal leicht künstlich oder untypisch betont klingen. Das ist besonders bei Worten der Fall, die nur selten genutzt werden.

Einer der einfachsten, aber wirkungsvollsten Beiträge besteht darin, Inhalte, bei denen man unsicher ist, nicht weiterzuleiten. Damit verhindert man, dass sie sich massenhaft verbreiten und Schaden anrichten.

Auch der Schutz der eigenen Privatsphäre spielt eine große Rolle: Je weniger öffentliche Video- oder Audioaufnahmen von einer Person existieren, desto schwieriger ist es, ein Deepfake über sie zu erstellen.

Welche Maßnahmen zur Kontrolle und Regulierung von Deepfakes gibt es schon?

In der EU enthält die KI-Verordnung Vorgaben, dass KI-generierte Inhalte klar gekennzeichnet sein müssen, wenn sie realistische Menschen oder Situationen darstellen. Diese Verpflichtung tritt Mitte 2026 in Kraft.

Allerdings gibt es zahlreiche Gesetzte, die sich gegen die schädliche Nutzung von Deepfakes wenden. Wenn es verboten ist, von einer Person Unwahrheiten zu verbreiten, ist die Methode dahinter nicht wichtig. Ob man mit Photoshop ein Bild fälscht oder einen Deepfake erzeugt, ist dann zweitrangig.

Und wenn Deepfakes etwa bei der Verbreitung von Desinformationen eingesetzt werden, greifen auch hier wieder allgemein Gesetzte, die Plattformen verpflichten, gegen diese Desinformationen vorzugehen.

In welchen Bereichen müssen weitere konkrete Schritte umgesetzt werden?

Die KI-Verordnung ist hinsichtlich der Vorgaben zur Kennzeichnung von Deepfakes noch sehr abstrakt. Hier muss noch konkretisiert werden, beispielsweise durch Handlungsanweisung oder Maßnahmenkataloge. Dies ist bis Mitte 2026 geplant, um beim Eintreten der Pflicht zur Kennzeichnung den Betroffenen Handreichungen zu geben, wie sie ihre Pflicht erfüllen können.

In wessen Verantwortung liegt es, auf Deepfakes hinzuweisen und sie als solche zu kennzeichnen?

Die Verantwortung für den Umgang mit Deepfakes liegt bei mehreren Gruppen. Große Anbieter, die es ermöglichen, Deepfakes zu erstellen, sollten sie klar als künstlich kennzeichnen. Plattformen wie TikTok oder YouTube sollen solche Inhalte überprüfen und markieren, damit Nutzer nicht getäuscht werden. Der Staat sorgt mit Gesetzen dafür, dass Deepfake-Missbrauch bestraft wird und klare Regeln gelten. Medien sollen prüfen, ob ein Video echt ist, bevor sie es veröffentlichen. Auch jeder einzelne Nutzer trägt Verantwortung, indem er aufmerksam bleibt und zweifelhafte Inhalte nicht einfach weiterverbreitet.

Welche Kontrollinstanzen kann es überhaupt für Deepfakes geben und wo liegt die Grenze der Regulierung?

Kontrollinstanzen für Deepfakes können auf verschiedenen Ebenen entstehen, denn keine einzelne Stelle kann das Problem allein lösen. Grundsätzlich gibt es vier Bereiche, in denen Kontrolle möglich ist:

  • Staatliche Stellen können Regeln festlegen, zum Beispiel Kennzeichnungspflichten oder Strafen bei Missbrauch. Sie setzen also den rechtlichen Rahmen, ohne jedoch jeden einzelnen Inhalt prüfen zu können.
  • Plattformen wie YouTube, TikTok, Instagram oder X sind zentrale Kontrollinstanzen, weil sie täglich Millionen von Videos verbreiten. Sie können automatische Erkennungssysteme einsetzen, Deepfakes markieren oder entfernen und Nutzer verpflichten, KI-Inhalte zu kennzeichnen.
  • Unabhängige Organisationen und Medien können ebenfalls kontrollieren, indem sie fragwürdige Inhalte überprüfen und öffentlich einordnen. Faktencheck-Teams oder Journalisten haben hier eine wichtige Rolle.
  • Technische Systeme, etwa Wasserzeichen oder digitale Herkunftsnachweise, können helfen, echte von manipulierten Aufnahmen zu unterscheiden. Kontrolle geschieht hier durch das Prüfen auf entsprechende Hinweise und ist ein technischer Vorgang.

Die Grenze der Regulierung liegt dort, wo Kontrolle in Überwachung übergeht oder die Meinungs- und Kunstfreiheit gefährdet wäre. Wenn Staaten oder Plattformen zu stark eingreifen, könnte das zu Zensur führen oder kreative KI-Nutzung unnötig einschränken. Regulierung darf also Missbrauch verhindern, sollte aber nicht dazu führen, dass freie Meinungsäußerung oder harmlose KI-Inhalte blockiert werden.

Eine andere Art der Grenze ist die Umsetzbarkeit von Kontrolle. Das Internet ist global, daher sind nationale oder regionale Gesetze oft nicht ausreichend, um Inhalte zu kontrollieren. Auch technische Maßnahmen machen immer wieder Fehler, weshalb man sie nicht einfach vollautomatisch betreiben kann. Wenn aber eine menschliche Kontrolle erforderlich ist, kommt aufgrund der Menge der Inhalte im Internet die Prüfung schnell an Grenzen.

Welche Verfahren (Autoencoder, GANs, Diffusionsmodelle etc.) gelten derzeit als besonders relevant oder wegweisend?

Ich würde sagen, hier kommt es auf die konkreten Methoden an. Es macht einen Unterschied, ob Inhalte verändert oder neu erzeugt werden sollen. Aber auch der Medientyp ist wichtig. Verfahren, die in Audio sehr gut funktionieren, sind im Bildbereich vielleicht nicht so verbreitet. Von daher kann man sagen, dass alle der genannten Verfahren, aber auch z.B. Transformermodelle von Bedeutung sind.

Welche typischen Schritte und Herausforderungen sehen Sie bei der praktischen Erstellung eines Deepfakes?

Das kommt stark auf die Art des Deepfakes an. Generell wird man in vielen Fällen zuerst Daten sammeln müssen, also Bilder, Videos oder Tonaufnahmen. Entweder verändert man sie dann, oder man nutzt sie zum Training (oder der Anpassung) von Modellen.

Wie können sich Deepfakes positiv und auch negativ auswirken? Und welche Maßnahmen kann man gegen zweiteres ergreifen?

Deepfakes können sowohl nützlich als auch gefährlich sein. Positiv wirken sie sich aus, wenn sie verantwortungsvoll eingesetzt werden, etwa in Film und Medien, wo Schauspieler verjüngt, historische Personen zum Leben erweckt oder Spezialeffekte realistischer gemacht werden können. Auch in der Bildung und Forschung bieten sie Chancen, zum Beispiel um komplexe Situationen anschaulich zu erklären. Es gibt auch Ansätze, die Deepfakes als medizinische Hilfe sehen, beispielsweise, wenn jemand seine Fähigkeit zu Sprechen verliert, aber durch sie immer noch mit seiner Stimme kommunizieren kann.

Gleichzeitig bringen Deepfakes ernsthafte Risiken mit sich. Sie können zur Verbreitung von Falschinformationen genutzt werden, etwa indem Politiker scheinbar Dinge sagen, die sie nie gesagt haben. Mit ihnen kann man Menschen beleidigen oder erpressen. Auch Identitätsbetrug wird erleichtert, wenn Stimme oder Gesicht täuschend echt imitiert werden. Dadurch entstehen soziale, politische und persönliche Schäden. Aber auch die organisierte Kriminalität nutzt Deepfakes für Betrug.

Um diese negativen Auswirkungen einzudämmen, braucht es mehrere Maßnahmen. Zum einen sollten Deepfakes klar als künstlich gekennzeichnet sein, damit sie nicht unbeabsichtigt täuschen. Plattformen und Medien müssen verdächtige Inhalte prüfen und gegebenenfalls entfernen. Staatliche Regeln können Missbrauch unter Strafe stellen und klare Pflichten für den Umgang mit KI-Inhalten definieren. Ebenso gibt es auch Bestrebungen, echte Inhalte als solche zu Kennzeichnen und so eine Art Basis von Inhalten zu schaffen, denen man vertrauen kann.

Gleichzeitig spielt Medienbildung eine große Rolle: Menschen müssen lernen, Deepfakes zu erkennen, Quellen zu überprüfen und zweifelhafte Inhalte nicht sofort weiterzuleiten. Und sie müssen verstehen, was mit ihnen möglich ist, um eher Opfern zu glauben, die durch einen Deepfake geschädigt wurden.