Erster Platz bei der KI-Challenge
Unsere IT-Forensik-Experten Julian Götzinger und Raphael Frick haben den ersten Platz der internationalen BlEmoRe-Challenge belegt: Das Ziel der Blended Emotion Recognition Challenge war es, mittels KI gemischte Emotionen (blended emotions) in Videos mit Tonspur möglichst präzise zu erkennen. Hintergrund der Challenge: Menschen zeigen oft nicht nur eine einzelne Emotion, sondern mehrere gleichzeitig, beispielsweise Wut und Trauer, oder Freude und Überraschung. Für KI-Systeme ist diese Mischung schwer zu erkennen.
Deshalb haben unsere Wissenschaftler CANDOR entwickelt. Dieses Verfahren wertet die Ergebnisse mehrerer spezialisierter KI-Modelle aus und kombiniert sie erst am Ende, sodass die Stärken jedes Modells erhalten bleiben. Gleichzeitig reduziert CANDOR den Einfluss persönlicher menschlicher Merkmale, zum Beispiel Aussehen oder Stimme, damit sich die KI stärker auf den tatsächlichen Gefühlsausdruck konzentriert.
Mit CANDOR haben sich Julian Götzinger und Raphael Frick mit deutlichem Vorsprung an die Spitze von 28 Teams mit insgesamt 128 Einreichungen gesetzt. Sie erreichten einen Gesamtscore von 0,457; Emotion Presence Accuracy lag bei 0,641. Wir gratulieren ganz herzlich zu diesem Erfolg!
Die Ergebnisse nutzen die beiden Wissenschaftler für die bessere Erkennung von Deepfakes, wenn beispielsweise das Original-Video einer Person "emotional" nicht übereinstimmt mit der KI-generierten Audiospur; möglich ist auch ein Einsatz im psychologischen Bereich, etwa wenn Gefühlsausdrücke für neurodivergente Menschen übersetzt werden.
Die Challenge wurde organisiert im Rahmen der renommierten IEEE 20th International Conference on Automatic Face and Gesture Recognition; Julian und Raphael haben ihre Ergebnisse auf der Konferenz in Japan präsentiert.
Hier ist ihr paper zu CANDOR veröffentlicht: https://ieeexplore.ieee.org/document/11556517
Ein Projekt, das Emotionserkennung einsetzt, um zu bewerten, wie emotional Videos wirken, ist das Projekt Vampir. Es konzentriert sich darauf, Desinformationen und Deepfakes auf TikTok zu untersuchen. Weitere Details finden Sie hier:
https://www.sit.fraunhofer.de/vampir/
