S2S-Arena: Evaluatie van Speech2Speech-protocollen voor Instructieopvolging met Paralinguïstische Informatie

S2S-Arena, Evaluating Speech2Speech Protocols on Instruction Following with Paralinguistic Information

March 7, 2025

Auteurs: Feng Jiang, Zhiyu Lin, Fan Bu, Yuhao Du, Benyou Wang, Haizhou Li

cs.AI

Samenvatting

De snelle ontwikkeling van grote taalmodellen (LLM's) heeft aanzienlijke aandacht gebracht naar spraakmodellen, met name de recente vooruitgang in spraak-naar-spraakprotocollen die spraakinvoer en -uitvoer ondersteunen. De bestaande benchmarks gebruiken echter automatische tekstgebaseerde evaluatoren om de instructievolgcapaciteiten van deze modellen te beoordelen, zonder rekening te houden met paralinguïstische informatie in zowel spraakbegrip als -generatie. Om deze problemen aan te pakken, introduceren we S2S-Arena, een nieuwe arena-stijl S2S-benchmark die de instructievolgcapaciteiten evalueert met paralinguïstische informatie in zowel spraakinvoer als -uitvoer over real-world taken. We ontwerpen 154 samples die TTS en live-opnames combineren in vier domeinen met 21 taken en evalueren handmatig bestaande populaire spraakmodellen in een arena-stijl. De experimentele resultaten tonen aan dat: (1) naast de superieure prestaties van GPT-4o, het spraakmodel van gecascadeerde ASR, LLM en TTS het gezamenlijk getrainde model overtreft na tekst-spraakalignering in spraak-naar-spraakprotocollen; (2) bij het overwegen van paralinguïstische informatie, de kennis van het spraakmodel voornamelijk afhangt van de LLM-backbone, en de meertalige ondersteuning daarvan beperkt wordt door de spraakmodule; (3) uitstekende spraakmodellen kunnen al de paralinguïstische informatie in spraakinvoer begrijpen, maar het genereren van geschikte audio met paralinguïstische informatie blijft een uitdaging.

English

The rapid development of large language models (LLMs) has brought significant attention to speech models, particularly recent progress in speech2speech protocols supporting speech input and output. However, the existing benchmarks adopt automatic text-based evaluators for evaluating the instruction following ability of these models lack consideration for paralinguistic information in both speech understanding and generation. To address these issues, we introduce S2S-Arena, a novel arena-style S2S benchmark that evaluates instruction-following capabilities with paralinguistic information in both speech-in and speech-out across real-world tasks. We design 154 samples that fused TTS and live recordings in four domains with 21 tasks and manually evaluate existing popular speech models in an arena-style manner. The experimental results show that: (1) in addition to the superior performance of GPT-4o, the speech model of cascaded ASR, LLM, and TTS outperforms the jointly trained model after text-speech alignment in speech2speech protocols; (2) considering paralinguistic information, the knowledgeability of the speech model mainly depends on the LLM backbone, and the multilingual support of that is limited by the speech module; (3) excellent speech models can already understand the paralinguistic information in speech input, but generating appropriate audio with paralinguistic information is still a challenge.