Falschinformationen verbreiten sich heute in rasanter Geschwindigkeit über soziale Netzwerke, Messenger-Dienste und Online-Plattformen. Fraunhofer SIT entwickelt deshalb Verfahren, um Desinformation besser zu verstehen und zu bekämpfen. Wir entwickeln Werkzeuge, die Zusammenhänge sichtbar machen, und untersuchen Verbreitungsmuster von Desinformation sowie die Rolle der beteiligten Akteure in sozialen Netzwerken. Darüber hinaus entwickeln wir Prototypen und F&E-Lösungen zur Manipulationserkennung in Bild-, Audio- und Videodateien sowie der automatisierten Erkennung von Deepfakes.

Mit unserer Forschung in diesem Bereich unterstützen wir Behörden, Medien und Plattformbetreiber dabei, Desinformationskampagnen frühzeitig zu erkennen und einzudämmen. Gleichzeitig stärken wir damit die Integrität digitaler Informationen und schützen die öffentliche Ordnung und die freiheitlich demokratische Gesellschaft.

Immer mehr Entwicklerinnen und Entwickler nutzen KI-Assistenten, um Software zu schreiben, im Grunde ist Coding mit KI die neue Norm. Das beschleunigt die Arbeit, aber es entstehen auch neue Sicherheitslücken: Automatisch generierter Code enthält häufig Schwachstellen, die ohne gezielte Prüfung unentdeckt bleiben (Technical Debt). Die Software-Expertinnen und -Experten des Fraunhofer SIT untersuchen, wie sich solche Schwachstellen systematisch aufspüren lassen und wie KI-gestützte Analysewerkzeuge die Code-Sicherheitsprüfung verbessern können. Ziel ist es zum Beispiel, klassische Scanner zu erweitern, die Erkennung auf verschiedenen Plattformen zu ermöglichen und Sicherheitsprüfungen effizienter und präziser zu gestalten, damit der Geschwindigkeitsvorteil von KI-generiertem Code nicht auf Kosten der IT-Sicherheit geht.

Sprachmodelle und andere KI-Systeme werden nicht nur als Werkzeuge genutzt, sondern sind auch selbst Angriffsziele. Wer etwa ein großes Sprachmodell in einem Unternehmensprodukt einsetzt, muss damit rechnen, dass Angreifende versuchen, das System durch gezielte Eingaben zu manipulieren: Sie schleusen versteckte Anweisungen in Dokumente ein, umgehen eingebaute Sicherheitsmechanismen oder bringen das Modell dazu, vertrauliche Informationen preiszugeben. Solche Angriffe sind schwer zu erkennen und noch schwerer systematisch abzuwehren. Die Forschenden am Fraunhofer SIT analysieren, welche Schwachstellen KI-Systeme aufweisen und wie wirkungsvolle Gegenmaßnahmen entwickelt werden können, ohne die Fähigkeiten des Sprachmodells einzuschränken. Mit den Erkenntnissen unterstützen wir Unternehmen und Behörden, die KI-Systeme sicher und gesetzeskonform zu nutzen.

Klassische Sicherheitsscanner liefern nachweisbar Ergebnisse mit einer bewusst steuerbaren Korrektheit und Vollständigkeit unter einem präzise definierbaren Rahmensystem. Gleichzeitig stoßen sie bei komplexen, kontextabhängigen Schwachstellen wie logischen Fehlern schnell an ihre Grenzen. Künstliche Intelligenz kann dagegen semantische Zusammenhänge im Code erfassen und auch subtile oder neuartige Schwachstellenmuster erkennen – allerdings ohne die Verlässlichkeit klassischer Verfahren. Am Fraunhofer SIT erforschen wir deshalb, wie sich beide Ansätze kombinieren lassen: Die Präzision klassischer Scanner wird mit der semantischen Analysefähigkeit von KI-Modellen verbunden, um Schwachstellen zuverlässiger und zugleich umfassender aufzudecken.

Ein weiterer Schwerpunkt ist die Perspektive der Offensive Security: KI-Systeme lassen sich auch gezielt als Angriffswerkzeug einsetzen, etwa zur automatisierten Suche nach Schwachstellen oder zur Generierung von Exploits. Diese Fähigkeiten zu verstehen, ist Voraussetzung dafür, wirksame Verteidigungsstrategien zu entwickeln. Die Forschenden des Fraunhofer SIT untersuchen daher sowohl den defensiven als auch den offensiven Einsatz von KI im Security Engineering, um Unternehmen und Behörden ein realistisches Bild der aktuellen Bedrohungslage sowie praxisnahe Gegenmaßnahmen zu liefern.

Unsere Forschenden entwickeln Verfahren, mit denen sich Darstellungen sexualisierter Gewalt an Kindern (Child Sexual Abuse Material, CSAM) in der Praxis erkennen lassen. Eine besondere Herausforderung besteht darin, leistungsfähige KI-Modelle zu entwickeln, ohne diese mit illegalem CSAM zu trainieren. Stattdessen werden mehrere Modelle getrennt voneinander mit legalem Bildmaterial trainiert und anschließend zu einem Gesamtmodell zusammengeführt.

In Zusammenarbeit mit staatlichen Institutionen werden unsere Modelle in mehreren Schleifen anhand realer Falldaten evaluiert, ohne dass diese Daten (oder jegliches anderes CSAM) in das Training einfließen. Dadurch lassen sich die Modelle vergleichsweise unkompliziert weitergeben und einsetzen, da sie im Gegensatz zu vielen derzeit von staatlichen Institutionen genutzten KI-Lösungen zu keinem Zeitpunkt mit Falldaten trainiert wurden. Selbst wenn sich Trainingsdaten aus einem Modell rekonstruieren ließen, bestünde kein Risiko, dadurch illegales Material offenzulegen.

Ein weiterer Vorteil der Modelle besteht darin, dass sie nachvollziehbar machen, wie ihre Entscheidungen zustande kommen. Dies erhöht ihre Transparenz und erleichtert die Überprüfung der Ergebnisse.

Wer KI-Systeme mit sensiblen Daten trainiert oder betreibt, steht vor einem grundlegenden Dilemma: Wie lassen sich Erkenntnisse gewinnen, ohne die zugrundeliegenden Daten preiszugeben? In enger Zusammenarbeit mit der TU Darmstadt forschen wir an kryptografischen Methoden, die Berechnungen auf verschlüsselten Daten ermöglichen – sodass ein KI-Modell lernen kann, ohne je Zugriff auf die Rohdaten zu erhalten (Fully Homomorphic Encryption). Diese Techniken sind entscheidend für medizinische Anwendungen, Finanzdienstleistungen und überall dort, wo Vertraulichkeit und Analyse zugleich gefragt sind.

Ein besonderes Problem stellt sich auch, wenn die Trainingsdaten personenbezogene Informationen enthalten, wodurch ihre Verarbeitung den Bestimmungen der Datenschutz-Grundverordnung (DSGVO) unterliegt. Aufgrund der Funktionsweise von Deep-Learning-Modellen lassen sich jedoch die Rechte der betroffenen Personen in der Praxis nur schwer umsetzen. Daher befassen sich Forschende des SIT mit der Anonymisierung von Texten, also der Entfernung von personenbezogenen Informationen, sodass einzelne Personen nicht mehr identifizierbar sind. So sollen beispielsweise auch Textdaten aus behördlichen Quellen DSGVO-konform für das KI-Training verwendet werden können.

Das Fraunhofer SIT kooperiert außerdem mit leistungsstarken Hochleistungsrechenzentren wie dem Green IT Cube der Gesellschaft für Schwerionenforschung GSI. Diese Infrastruktur ermöglicht die Analyse hochsensibler Daten in einem sicheren Reallabor und unterstützt Projekte in Forschung und Industrie gleichermaßen. Die Kombination aus Rechenleistung, KI-Expertise und praxisnahen Testumgebungen schafft ein einzigartiges Ökosystem für Innovation und Sicherheit.