S2S-Arena: Valutazione dei Protocolli Speech2Speech sul Rispetto delle Istruzioni con Informazioni Paralinguistiche

S2S-Arena, Evaluating Speech2Speech Protocols on Instruction Following with Paralinguistic Information

March 7, 2025

Autori: Feng Jiang, Zhiyu Lin, Fan Bu, Yuhao Du, Benyou Wang, Haizhou Li

cs.AI

Abstract

Il rapido sviluppo dei modelli linguistici di grandi dimensioni (LLM) ha attirato una significativa attenzione sui modelli vocali, in particolare sui recenti progressi nei protocolli speech2speech che supportano input e output vocali. Tuttavia, i benchmark esistenti adottano valutatori automatici basati su testo per valutare la capacità di seguire le istruzioni di questi modelli, trascurando le informazioni paralinguistiche sia nella comprensione che nella generazione del parlato. Per affrontare queste problematiche, introduciamo S2S-Arena, un nuovo benchmark S2S in stile arena che valuta le capacità di seguire le istruzioni considerando le informazioni paralinguistiche sia nell'input che nell'output vocale attraverso compiti del mondo reale. Progettiamo 154 campioni che combinano sintesi vocale (TTS) e registrazioni live in quattro domini con 21 compiti e valutiamo manualmente i modelli vocali popolari esistenti in modalità arena. I risultati sperimentali mostrano che: (1) oltre alla prestazione superiore di GPT-4o, il modello vocale composto da ASR, LLM e TTS in cascata supera il modello addestrato congiuntamente dopo l'allineamento testo-parlato nei protocolli speech2speech; (2) considerando le informazioni paralinguistiche, la conoscenza del modello vocale dipende principalmente dal backbone LLM, e il supporto multilingue è limitato dal modulo vocale; (3) i modelli vocali eccellenti sono già in grado di comprendere le informazioni paralinguistiche nell'input vocale, ma generare audio appropriato con informazioni paralinguistiche rimane una sfida.

English

The rapid development of large language models (LLMs) has brought significant attention to speech models, particularly recent progress in speech2speech protocols supporting speech input and output. However, the existing benchmarks adopt automatic text-based evaluators for evaluating the instruction following ability of these models lack consideration for paralinguistic information in both speech understanding and generation. To address these issues, we introduce S2S-Arena, a novel arena-style S2S benchmark that evaluates instruction-following capabilities with paralinguistic information in both speech-in and speech-out across real-world tasks. We design 154 samples that fused TTS and live recordings in four domains with 21 tasks and manually evaluate existing popular speech models in an arena-style manner. The experimental results show that: (1) in addition to the superior performance of GPT-4o, the speech model of cascaded ASR, LLM, and TTS outperforms the jointly trained model after text-speech alignment in speech2speech protocols; (2) considering paralinguistic information, the knowledgeability of the speech model mainly depends on the LLM backbone, and the multilingual support of that is limited by the speech module; (3) excellent speech models can already understand the paralinguistic information in speech input, but generating appropriate audio with paralinguistic information is still a challenge.