S2S-Arena: パラ言語情報を伴う指示追従におけるSpeech2Speechプロトコルの評価

S2S-Arena, Evaluating Speech2Speech Protocols on Instruction Following with Paralinguistic Information

March 7, 2025

著者: Feng Jiang, Zhiyu Lin, Fan Bu, Yuhao Du, Benyou Wang, Haizhou Li

cs.AI

要旨

大規模言語モデル（LLM）の急速な発展に伴い、音声モデル、特に音声入出力をサポートするspeech2speechプロトコルの最近の進展が注目を集めています。しかし、既存のベンチマークでは、これらのモデルの指示追従能力を評価するために自動テキストベースの評価器を採用しており、音声理解と生成におけるパラ言語情報の考慮が欠如しています。これらの課題に対処するため、我々はS2S-Arenaを導入します。これは、現実世界のタスクにおいて、音声入力と音声出力の両方でパラ言語情報を考慮した指示追従能力を評価する、新たなアリーナ形式のS2Sベンチマークです。我々は、4つのドメインにおける21のタスクでTTSとライブ録音を融合した154のサンプルを設計し、既存の人気音声モデルをアリーナ形式で手動評価しました。実験結果は以下の通りです：（1）GPT-4oの優れた性能に加え、カスケード型のASR、LLM、TTSからなる音声モデルが、テキストと音声のアラインメント後の共同学習モデルをspeech2speechプロトコルで上回ること、（2）パラ言語情報を考慮すると、音声モデルの知識性は主にLLMバックボーンに依存し、その多言語サポートは音声モジュールによって制限されること、（3）優れた音声モデルは既に音声入力におけるパラ言語情報を理解できるが、適切なパラ言語情報を含む音声を生成することは依然として課題であること、を示しています。

English

The rapid development of large language models (LLMs) has brought significant attention to speech models, particularly recent progress in speech2speech protocols supporting speech input and output. However, the existing benchmarks adopt automatic text-based evaluators for evaluating the instruction following ability of these models lack consideration for paralinguistic information in both speech understanding and generation. To address these issues, we introduce S2S-Arena, a novel arena-style S2S benchmark that evaluates instruction-following capabilities with paralinguistic information in both speech-in and speech-out across real-world tasks. We design 154 samples that fused TTS and live recordings in four domains with 21 tasks and manually evaluate existing popular speech models in an arena-style manner. The experimental results show that: (1) in addition to the superior performance of GPT-4o, the speech model of cascaded ASR, LLM, and TTS outperforms the jointly trained model after text-speech alignment in speech2speech protocols; (2) considering paralinguistic information, the knowledgeability of the speech model mainly depends on the LLM backbone, and the multilingual support of that is limited by the speech module; (3) excellent speech models can already understand the paralinguistic information in speech input, but generating appropriate audio with paralinguistic information is still a challenge.