S2S-Arena: Evaluación de Protocolos de Conversión de Voz a Voz en la Seguimiento de Instrucciones con Información Paralingüística

S2S-Arena, Evaluating Speech2Speech Protocols on Instruction Following with Paralinguistic Information

March 7, 2025

Autores: Feng Jiang, Zhiyu Lin, Fan Bu, Yuhao Du, Benyou Wang, Haizhou Li

cs.AI

Resumen

El rápido desarrollo de los modelos de lenguaje de gran escala (LLMs) ha atraído una atención significativa hacia los modelos de habla, particularmente los avances recientes en protocolos de habla2habla que admiten entrada y salida de voz. Sin embargo, los benchmarks existentes adoptan evaluadores automáticos basados en texto para evaluar la capacidad de seguimiento de instrucciones de estos modelos, careciendo de consideración por la información paralingüística tanto en la comprensión como en la generación del habla. Para abordar estos problemas, presentamos S2S-Arena, un novedoso benchmark de estilo arena para habla2habla que evalúa las capacidades de seguimiento de instrucciones con información paralingüística tanto en la entrada como en la salida de voz a través de tareas del mundo real. Diseñamos 154 muestras que fusionan síntesis de voz (TTS) y grabaciones en vivo en cuatro dominios con 21 tareas, y evaluamos manualmente modelos de habla populares existentes en un formato de estilo arena. Los resultados experimentales muestran que: (1) además del rendimiento superior de GPT-4o, el modelo de habla en cascada de ASR, LLM y TTS supera al modelo entrenado conjuntamente después de la alineación texto-voz en protocolos de habla2habla; (2) al considerar la información paralingüística, el conocimiento del modelo de habla depende principalmente del backbone LLM, y el soporte multilingüe está limitado por el módulo de habla; (3) los modelos de habla excelentes ya pueden comprender la información paralingüística en la entrada de voz, pero generar audio apropiado con información paralingüística sigue siendo un desafío.

English

The rapid development of large language models (LLMs) has brought significant attention to speech models, particularly recent progress in speech2speech protocols supporting speech input and output. However, the existing benchmarks adopt automatic text-based evaluators for evaluating the instruction following ability of these models lack consideration for paralinguistic information in both speech understanding and generation. To address these issues, we introduce S2S-Arena, a novel arena-style S2S benchmark that evaluates instruction-following capabilities with paralinguistic information in both speech-in and speech-out across real-world tasks. We design 154 samples that fused TTS and live recordings in four domains with 21 tasks and manually evaluate existing popular speech models in an arena-style manner. The experimental results show that: (1) in addition to the superior performance of GPT-4o, the speech model of cascaded ASR, LLM, and TTS outperforms the jointly trained model after text-speech alignment in speech2speech protocols; (2) considering paralinguistic information, the knowledgeability of the speech model mainly depends on the LLM backbone, and the multilingual support of that is limited by the speech module; (3) excellent speech models can already understand the paralinguistic information in speech input, but generating appropriate audio with paralinguistic information is still a challenge.