EmoNet-Voice: Экспертно-проверенный эталонный набор данных для детектирования эмоций в речи с высокой степенью детализации

EmoNet-Voice: A Fine-Grained, Expert-Verified Benchmark for Speech Emotion Detection

June 11, 2025

Авторы: Christoph Schuhmann, Robert Kaczmarczyk, Gollam Rabby, Felix Friedrich, Maurice Kraus, Kourosh Nadi, Huu Nguyen, Kristian Kersting, Sören Auer

cs.AI

Аннотация

Развитие моделей преобразования текста в речь и генерации аудио требует создания надежных эталонов для оценки способностей систем искусственного интеллекта к пониманию эмоций. Современные наборы данных для распознавания эмоций в речи (Speech Emotion Recognition, SER) часто имеют ограничения в эмоциональной детализации, проблемах с конфиденциальностью или зависимости от актерских интерпретаций. В данной статье представлен EmoNet-Voice — новый ресурс для обнаружения эмоций в речи, включающий EmoNet-Voice Big, крупномасштабный набор данных для предварительного обучения (содержащий более 4500 часов речи, 11 голосов, 40 эмоций и 4 языка), и EmoNet-Voice Bench, новый эталонный набор данных с аннотациями экспертов. EmoNet-Voice разработан для оценки моделей SER на детализированном спектре из 40 категорий эмоций с различными уровнями интенсивности. Используя передовые технологии генерации голоса, мы создали синтетические аудиофрагменты, имитирующие актеров, изображающих сцены, призванные вызывать определенные эмоции. Важно отметить, что мы провели строгую валидацию с участием экспертов-психологов, которые присвоили метки воспринимаемой интенсивности. Этот синтетический подход, сохраняющий конфиденциальность, позволяет включать чувствительные эмоциональные состояния, часто отсутствующие в существующих наборах данных. Наконец, мы представляем модели Empathic Insight Voice, которые устанавливают новый стандарт в распознавании эмоций в речи, демонстрируя высокое согласие с оценками экспертов. Наши оценки в рамках современных моделей выявили ценные результаты, например, что эмоции с высокой активацией, такие как гнев, распознаются значительно легче, чем состояния с низкой активацией, такие как концентрация.

English

The advancement of text-to-speech and audio generation models necessitates robust benchmarks for evaluating the emotional understanding capabilities of AI systems. Current speech emotion recognition (SER) datasets often exhibit limitations in emotional granularity, privacy concerns, or reliance on acted portrayals. This paper introduces EmoNet-Voice, a new resource for speech emotion detection, which includes EmoNet-Voice Big, a large-scale pre-training dataset (featuring over 4,500 hours of speech across 11 voices, 40 emotions, and 4 languages), and EmoNet-Voice Bench, a novel benchmark dataset with human expert annotations. EmoNet-Voice is designed to evaluate SER models on a fine-grained spectrum of 40 emotion categories with different levels of intensities. Leveraging state-of-the-art voice generation, we curated synthetic audio snippets simulating actors portraying scenes designed to evoke specific emotions. Crucially, we conducted rigorous validation by psychology experts who assigned perceived intensity labels. This synthetic, privacy-preserving approach allows for the inclusion of sensitive emotional states often absent in existing datasets. Lastly, we introduce Empathic Insight Voice models that set a new standard in speech emotion recognition with high agreement with human experts. Our evaluations across the current model landscape exhibit valuable findings, such as high-arousal emotions like anger being much easier to detect than low-arousal states like concentration.