EmoNet-Voz: Un Punto de Referencia Detallado y Verificado por Expertos para la Detección de Emociones en el Habla

Resumen

El avance de los modelos de conversión de texto a voz y generación de audio requiere puntos de referencia robustos para evaluar las capacidades de comprensión emocional de los sistemas de inteligencia artificial. Los conjuntos de datos actuales de reconocimiento de emociones en el habla (SER, por sus siglas en inglés) suelen presentar limitaciones en la granularidad emocional, preocupaciones de privacidad o dependencia de representaciones actuadas. Este artículo presenta EmoNet-Voice, un nuevo recurso para la detección de emociones en el habla, que incluye EmoNet-Voice Big, un conjunto de datos de preentrenamiento a gran escala (con más de 4,500 horas de habla en 11 voces, 40 emociones y 4 idiomas), y EmoNet-Voice Bench, un nuevo conjunto de datos de referencia con anotaciones de expertos humanos. EmoNet-Voice está diseñado para evaluar modelos SER en un espectro detallado de 40 categorías emocionales con diferentes niveles de intensidad. Aprovechando la generación de voz de última generación, seleccionamos fragmentos de audio sintéticos que simulan actores representando escenas diseñadas para evocar emociones específicas. De manera crucial, realizamos una validación rigurosa por parte de expertos en psicología que asignaron etiquetas de intensidad percibida. Este enfoque sintético y respetuoso con la privacidad permite la inclusión de estados emocionales sensibles que a menudo están ausentes en los conjuntos de datos existentes. Por último, presentamos los modelos Empathic Insight Voice, que establecen un nuevo estándar en el reconocimiento de emociones en el habla con un alto acuerdo con los expertos humanos. Nuestras evaluaciones en el panorama actual de modelos exhiben hallazgos valiosos, como que las emociones de alta activación, como la ira, son mucho más fáciles de detectar que los estados de baja activación, como la concentración.

English

The advancement of text-to-speech and audio generation models necessitates robust benchmarks for evaluating the emotional understanding capabilities of AI systems. Current speech emotion recognition (SER) datasets often exhibit limitations in emotional granularity, privacy concerns, or reliance on acted portrayals. This paper introduces EmoNet-Voice, a new resource for speech emotion detection, which includes EmoNet-Voice Big, a large-scale pre-training dataset (featuring over 4,500 hours of speech across 11 voices, 40 emotions, and 4 languages), and EmoNet-Voice Bench, a novel benchmark dataset with human expert annotations. EmoNet-Voice is designed to evaluate SER models on a fine-grained spectrum of 40 emotion categories with different levels of intensities. Leveraging state-of-the-art voice generation, we curated synthetic audio snippets simulating actors portraying scenes designed to evoke specific emotions. Crucially, we conducted rigorous validation by psychology experts who assigned perceived intensity labels. This synthetic, privacy-preserving approach allows for the inclusion of sensitive emotional states often absent in existing datasets. Lastly, we introduce Empathic Insight Voice models that set a new standard in speech emotion recognition with high agreement with human experts. Our evaluations across the current model landscape exhibit valuable findings, such as high-arousal emotions like anger being much easier to detect than low-arousal states like concentration.

EmoNet-Voz: Un Punto de Referencia Detallado y Verificado por Expertos para la Detección de Emociones en el Habla

EmoNet-Voice: A Fine-Grained, Expert-Verified Benchmark for Speech Emotion Detection

Resumen

Support