EmoNet-Voice : Un Référentiel Expertisé et Granulaire pour la Détection des Émotions dans la Parole

EmoNet-Voice: A Fine-Grained, Expert-Verified Benchmark for Speech Emotion Detection

June 11, 2025

Auteurs: Christoph Schuhmann, Robert Kaczmarczyk, Gollam Rabby, Felix Friedrich, Maurice Kraus, Kourosh Nadi, Huu Nguyen, Kristian Kersting, Sören Auer

cs.AI

Résumé

Les progrès des modèles de synthèse vocale et de génération audio nécessitent des benchmarks robustes pour évaluer les capacités de compréhension émotionnelle des systèmes d’intelligence artificielle. Les ensembles de données actuels pour la reconnaissance des émotions dans la parole (Speech Emotion Recognition, SER) présentent souvent des limitations en termes de granularité émotionnelle, de préoccupations liées à la confidentialité ou de dépendance à des interprétations jouées. Cet article présente EmoNet-Voice, une nouvelle ressource pour la détection des émotions dans la parole, comprenant EmoNet-Voice Big, un ensemble de données de pré-entraînement à grande échelle (comprenant plus de 4 500 heures de parole réparties sur 11 voix, 40 émotions et 4 langues), et EmoNet-Voice Bench, un nouvel ensemble de données de référence annoté par des experts humains. EmoNet-Voice est conçu pour évaluer les modèles SER sur un spectre finement granulaire de 40 catégories d’émotions avec différents niveaux d’intensité. En exploitant les technologies de pointe en génération vocale, nous avons sélectionné des extraits audio synthétiques simulant des acteurs interprétant des scènes conçues pour susciter des émotions spécifiques. De manière cruciale, nous avons mené une validation rigoureuse par des experts en psychologie qui ont attribué des étiquettes d’intensité perçue. Cette approche synthétique et respectueuse de la confidentialité permet d’inclure des états émotionnels sensibles souvent absents des ensembles de données existants. Enfin, nous présentons les modèles Empathic Insight Voice, qui établissent une nouvelle référence en matière de reconnaissance des émotions dans la parole avec un accord élevé avec les experts humains. Nos évaluations à travers le paysage actuel des modèles révèlent des résultats précieux, tels que la détection plus aisée des émotions à forte activation comme la colère par rapport aux états à faible activation comme la concentration.

English

The advancement of text-to-speech and audio generation models necessitates robust benchmarks for evaluating the emotional understanding capabilities of AI systems. Current speech emotion recognition (SER) datasets often exhibit limitations in emotional granularity, privacy concerns, or reliance on acted portrayals. This paper introduces EmoNet-Voice, a new resource for speech emotion detection, which includes EmoNet-Voice Big, a large-scale pre-training dataset (featuring over 4,500 hours of speech across 11 voices, 40 emotions, and 4 languages), and EmoNet-Voice Bench, a novel benchmark dataset with human expert annotations. EmoNet-Voice is designed to evaluate SER models on a fine-grained spectrum of 40 emotion categories with different levels of intensities. Leveraging state-of-the-art voice generation, we curated synthetic audio snippets simulating actors portraying scenes designed to evoke specific emotions. Crucially, we conducted rigorous validation by psychology experts who assigned perceived intensity labels. This synthetic, privacy-preserving approach allows for the inclusion of sensitive emotional states often absent in existing datasets. Lastly, we introduce Empathic Insight Voice models that set a new standard in speech emotion recognition with high agreement with human experts. Our evaluations across the current model landscape exhibit valuable findings, such as high-arousal emotions like anger being much easier to detect than low-arousal states like concentration.