EmoNet-Voice: Ein fein abgestufter, von Experten verifizierter Benchmark für die Erkennung von Emotionen in der Sprache
EmoNet-Voice: A Fine-Grained, Expert-Verified Benchmark for Speech Emotion Detection
June 11, 2025
Autoren: Christoph Schuhmann, Robert Kaczmarczyk, Gollam Rabby, Felix Friedrich, Maurice Kraus, Kourosh Nadi, Huu Nguyen, Kristian Kersting, Sören Auer
cs.AI
Zusammenfassung
Die Fortschritte bei Text-zu-Sprache- und Audio-Generierungsmodellen erfordern robuste Benchmarks, um die Fähigkeiten von KI-Systemen zur emotionalen Verständnisbewertung zu messen. Aktuelle Datensätze zur Spracherkennung von Emotionen (Speech Emotion Recognition, SER) weisen oft Einschränkungen in Bezug auf emotionale Granularität, Datenschutzbedenken oder die Abhängigkeit von gespielten Darstellungen auf. Dieses Papier stellt EmoNet-Voice vor, eine neue Ressource zur Erkennung von Emotionen in der Sprache, die EmoNet-Voice Big umfasst – einen groß angelegten Pre-Training-Datensatz (mit über 4.500 Stunden Sprache, 11 Stimmen, 40 Emotionen und 4 Sprachen) – sowie EmoNet-Voice Bench, einen neuartigen Benchmark-Datensatz mit Annotationen von menschlichen Experten. EmoNet-Voice wurde entwickelt, um SER-Modelle auf einem fein abgestuften Spektrum von 40 Emotionskategorien mit unterschiedlichen Intensitätsstufen zu bewerten. Mithilfe modernster Sprachgenerierung haben wir synthetische Audioclips kuratiert, die Schauspieler simulieren, die Szenen darstellen, die spezifische Emotionen hervorrufen sollen. Entscheidend ist, dass wir eine strenge Validierung durch Psychologieexperten durchgeführt haben, die wahrgenommene Intensitätslabels zugewiesen haben. Dieser synthetische, datenschutzfreundliche Ansatz ermöglicht die Einbeziehung sensibler emotionaler Zustände, die in bestehenden Datensätzen oft fehlen. Schließlich stellen wir Empathic Insight Voice-Modelle vor, die einen neuen Standard in der Spracherkennung von Emotionen setzen und eine hohe Übereinstimmung mit menschlichen Experten aufweisen. Unsere Bewertungen im aktuellen Modell-Landschaft zeigen wertvolle Erkenntnisse, wie beispielsweise, dass hoch erregende Emotionen wie Wut viel leichter zu erkennen sind als niedrig erregende Zustände wie Konzentration.
English
The advancement of text-to-speech and audio generation models necessitates
robust benchmarks for evaluating the emotional understanding capabilities of AI
systems. Current speech emotion recognition (SER) datasets often exhibit
limitations in emotional granularity, privacy concerns, or reliance on acted
portrayals. This paper introduces EmoNet-Voice, a new resource for speech
emotion detection, which includes EmoNet-Voice Big, a large-scale pre-training
dataset (featuring over 4,500 hours of speech across 11 voices, 40 emotions,
and 4 languages), and EmoNet-Voice Bench, a novel benchmark dataset with human
expert annotations. EmoNet-Voice is designed to evaluate SER models on a
fine-grained spectrum of 40 emotion categories with different levels of
intensities. Leveraging state-of-the-art voice generation, we curated synthetic
audio snippets simulating actors portraying scenes designed to evoke specific
emotions. Crucially, we conducted rigorous validation by psychology experts who
assigned perceived intensity labels. This synthetic, privacy-preserving
approach allows for the inclusion of sensitive emotional states often absent in
existing datasets. Lastly, we introduce Empathic Insight Voice models that set
a new standard in speech emotion recognition with high agreement with human
experts. Our evaluations across the current model landscape exhibit valuable
findings, such as high-arousal emotions like anger being much easier to detect
than low-arousal states like concentration.