Security für KI
Fraunhofer SIT auf dem KI-Festival in Heilbronn
Das Fraunhofer SIT ist auf dem KI-Festival 2026 in Heilbronn mit dabei! Das Festival der IPAI Foundation ist
am 25.-26. Juli 2026
in den IPAI SPACES - Wohlgelegen, Heilbronn
Unsere Forschenden zeigen vor Ort, wie sich feststellen lässt, wer einen Text geschrieben hat, wie KI-Modelle über Hintertüren angegriffen werden können und wie sich Gesichtsmerkmale vergleichen lassen.
Mit Computer Vision Personen wiedererkennen
Wie erkennt eine KI Menschen wieder - selbst wenn sich deren Aussehen im Laufe der Zeit verändert? Unsere Forscher zeigen, wie Computer Vision diese Aufgabe löst. Dabei helfen sogenannte "weiche biometrische" Merkmale wie Tattoos, Narben oder Muttermale, die über lange Zeit hinweg weitgehend unverändert bleiben.
Auf dem KI-Festival können Besucherinnen und Besucher ihr Gesicht mit dem verschiedener Prominenter vergleichen. Die KI zeigt anschließend, welche Gesichtsmerkmale sie gemeinsam haben, und macht so anschaulich erlebbar, wie Computer-Vision-Verfahren funktionieren und die IT-Forensik bei der Identifizierung von Personen unterstützen.
Backdoor-Angriffe auf KI-Systeme
Wie kann man ein KI-Modell angreifen? Beispielsweise über das "Vergiften" von Trainingsdaten oder von unterschiedlichen Gewichtungen zwischen den Verbindungen eines neuronalen Netzes, das einer KI zugrunde liegt.
Über diese beiden Backdoors können Angreifer Trigger in das KI-Modell einbringen und so dafür sorgen, dass die KI-Anwendung plötzlich Ergebnisse zeigt, die sehr ungünstig sind und vom Provider nicht gewollt.
An unserem Festival-Stand können Besucherinnen und Besucher vergleichen, wie sich ein harmloses KI-Modell verhält – und wie ein vergiftetes KI-Modell. So können sie die Gefahren, die von einem Backdoor-Angriff ausgehen, anschaulich erleben.
Wer hat diesen Text geschrieben?
Wie kann man technisch feststellen, ob zwei Texte von derselben Person verfasst wurden? Hier kommt die Autorschaftsverifikation (AV) zum Einsatz. Im Rahmen des KI-Festivals können Besucherinnen und Besucher diese Technologie in einer interaktiven App selbst ausprobieren.
Hierfür haben wir eine AV-Methode namens COAV entwickelt. Sie erhält zwei Texte als Eingabe und überführt diese zunächst in numerische Repräsentationen. Auf deren Grundlage wird mithilfe einer Distanzfunktion ein Ähnlichkeitswert berechnet. Überschreitet dieser einen vordefinierten Schwellenwert, wird angenommen, dass beide Texte von derselben Person stammen, andernfalls von unterschiedlichen Personen.
Das Besondere an COAV ist, dass sich die berechneten Repräsentationen direkt (Zeichen für Zeichen) im Text visualisieren lassen. Dabei wird jedes Zeichen in beiden Texten in Abhängigkeit von dem berechneten Ähnlichkeitswert und dem vordefinierten Schwellenwert farblich hervorgehoben. Die Farbskala reicht von Rot bis Grün, wobei die Farbintensität die Stärke des jeweiligen Beitrags widerspiegelt. Das Ergebnis lässt sich intuitiv interpretieren: Je mehr und je intensiver die grünen Bereiche in beiden Texten sind, desto stärker sprechen sie für eine gemeinsame Autorschaft. Überwiegen hingegen die roten Bereiche, deutet dies auf unterschiedliche Autorinnen oder Autoren hin.
Ansprechpartner
Dr.-Ing. Oren Halvani
Abteilungsleitung AI and Security
64295 Darmstadt