S2S-Arena, Évaluation des Protocoles Speech2Speech sur le Suivi d'Instructions avec Informations Paralinguistiques

S2S-Arena, Evaluating Speech2Speech Protocols on Instruction Following with Paralinguistic Information

March 7, 2025

Auteurs: Feng Jiang, Zhiyu Lin, Fan Bu, Yuhao Du, Benyou Wang, Haizhou Li

cs.AI

Résumé

Le développement rapide des grands modèles de langage (LLMs) a suscité un intérêt significatif pour les modèles de parole, en particulier les progrès récents dans les protocoles parole-à-parole (speech2speech) prenant en charge l'entrée et la sortie vocales. Cependant, les benchmarks existants utilisent des évaluateurs automatiques basés sur le texte pour évaluer la capacité de ces modèles à suivre des instructions, sans tenir compte des informations paralinguistiques dans la compréhension et la génération de la parole. Pour résoudre ces problèmes, nous introduisons S2S-Arena, un nouveau benchmark de type arène pour les systèmes parole-à-parole, qui évalue les capacités de suivi d'instructions en intégrant des informations paralinguistiques à la fois dans l'entrée et la sortie vocales, à travers des tâches du monde réel. Nous concevons 154 échantillons combinant synthèse vocale (TTS) et enregistrements en direct dans quatre domaines avec 21 tâches, et évaluons manuellement les modèles de parole populaires existants selon une approche de type arène. Les résultats expérimentaux montrent que : (1) en plus de la performance supérieure de GPT-4o, le modèle de parole en cascade ASR, LLM et TTS surpasse le modèle entraîné conjointement après alignement texte-parole dans les protocoles parole-à-parole ; (2) en tenant compte des informations paralinguistiques, la connaissance du modèle de parole dépend principalement du LLM sous-jacent, et son support multilingue est limité par le module de parole ; (3) les modèles de parole performants peuvent déjà comprendre les informations paralinguistiques dans l'entrée vocale, mais générer un audio approprié avec ces informations reste un défi.

English

The rapid development of large language models (LLMs) has brought significant attention to speech models, particularly recent progress in speech2speech protocols supporting speech input and output. However, the existing benchmarks adopt automatic text-based evaluators for evaluating the instruction following ability of these models lack consideration for paralinguistic information in both speech understanding and generation. To address these issues, we introduce S2S-Arena, a novel arena-style S2S benchmark that evaluates instruction-following capabilities with paralinguistic information in both speech-in and speech-out across real-world tasks. We design 154 samples that fused TTS and live recordings in four domains with 21 tasks and manually evaluate existing popular speech models in an arena-style manner. The experimental results show that: (1) in addition to the superior performance of GPT-4o, the speech model of cascaded ASR, LLM, and TTS outperforms the jointly trained model after text-speech alignment in speech2speech protocols; (2) considering paralinguistic information, the knowledgeability of the speech model mainly depends on the LLM backbone, and the multilingual support of that is limited by the speech module; (3) excellent speech models can already understand the paralinguistic information in speech input, but generating appropriate audio with paralinguistic information is still a challenge.