VoiceAssistant-Eval: Evaluación de Asistentes de IA en Escucha, Habla y Visualización

VoiceAssistant-Eval: Benchmarking AI Assistants across Listening, Speaking, and Viewing

September 26, 2025

Autores: Ke Wang, Houxing Ren, Zimu Lu, Mingjie Zhan, Hongsheng Li

cs.AI

Resumen

Las crecientes capacidades de los modelos de lenguaje extenso y los sistemas multimodales han impulsado el interés en los asistentes de IA centrados en la voz, aunque los puntos de referencia existentes son insuficientes para evaluar el alcance completo de las capacidades de estos sistemas. Presentamos VoiceAssistant-Eval, un punto de referencia integral diseñado para evaluar asistentes de IA en las áreas de escucha, habla y visualización. VoiceAssistant-Eval comprende 10,497 ejemplos cuidadosamente seleccionados que abarcan 13 categorías de tareas. Estas tareas incluyen sonidos naturales, música y diálogos hablados para la escucha; diálogos de múltiples turnos, imitación de roles y diversos escenarios para el habla; e imágenes altamente heterogéneas para la visualización. Para demostrar su utilidad, evaluamos 21 modelos de código abierto y GPT-4o-Audio, midiendo la calidad del contenido y el habla de las respuestas, así como su consistencia. Los resultados revelan tres hallazgos clave: (1) los modelos propietarios no superan universalmente a los modelos de código abierto; (2) la mayoría de los modelos sobresalen en tareas de habla pero se rezagan en la comprensión de audio; y (3) modelos más pequeños pero bien diseñados pueden rivalizar con modelos mucho más grandes. Notablemente, el modelo de tamaño mediano Step-Audio-2-mini (7B) logra más del doble de precisión en escucha que LLaMA-Omni2-32B-Bilingual. Sin embargo, persisten desafíos: la entrada multimodal (audio más visual) y las tareas de imitación de voz en roles son difíciles para los modelos actuales, y existen brechas significativas en la robustez y la alineación de seguridad. VoiceAssistant-Eval identifica estas brechas y establece un marco riguroso para evaluar y guiar el desarrollo de la próxima generación de asistentes de IA. El código y los datos se publicarán en https://mathllm.github.io/VoiceAssistantEval/.

English

The growing capabilities of large language models and multimodal systems have spurred interest in voice-first AI assistants, yet existing benchmarks are inadequate for evaluating the full range of these systems' capabilities. We introduce VoiceAssistant-Eval, a comprehensive benchmark designed to assess AI assistants across listening, speaking, and viewing. VoiceAssistant-Eval comprises 10,497 curated examples spanning 13 task categories. These tasks include natural sounds, music, and spoken dialogue for listening; multi-turn dialogue, role-play imitation, and various scenarios for speaking; and highly heterogeneous images for viewing. To demonstrate its utility, we evaluate 21 open-source models and GPT-4o-Audio, measuring the quality of the response content and speech, as well as their consistency. The results reveal three key findings: (1) proprietary models do not universally outperform open-source models; (2) most models excel at speaking tasks but lag in audio understanding; and (3) well-designed smaller models can rival much larger ones. Notably, the mid-sized Step-Audio-2-mini (7B) achieves more than double the listening accuracy of LLaMA-Omni2-32B-Bilingual. However, challenges remain: multimodal (audio plus visual) input and role-play voice imitation tasks are difficult for current models, and significant gaps persist in robustness and safety alignment. VoiceAssistant-Eval identifies these gaps and establishes a rigorous framework for evaluating and guiding the development of next-generation AI assistants. Code and data will be released at https://mathllm.github.io/VoiceAssistantEval/ .