S2S-Arena: Оценка протоколов Speech2Speech на выполнение инструкций с использованием паралингвистической информации

S2S-Arena, Evaluating Speech2Speech Protocols on Instruction Following with Paralinguistic Information

March 7, 2025

Авторы: Feng Jiang, Zhiyu Lin, Fan Bu, Yuhao Du, Benyou Wang, Haizhou Li

cs.AI

Аннотация

Быстрое развитие крупных языковых моделей (LLM) привлекло значительное внимание к речевым моделям, особенно к недавним достижениям в протоколах speech2speech, поддерживающих речевой ввод и вывод. Однако существующие бенчмарки используют автоматические текстовые оценки для проверки способности этих моделей следовать инструкциям, не учитывая паралингвистическую информацию как в понимании, так и в генерации речи. Для решения этих проблем мы представляем S2S-Arena — новый аренный бенчмарк S2S, который оценивает способность следовать инструкциям с учетом паралингвистической информации как на входе, так и на выходе речи в реальных задачах. Мы разработали 154 образца, объединяющих синтез речи (TTS) и живые записи в четырех доменах с 21 задачей, и вручную оценили популярные речевые модели в аренном стиле. Результаты экспериментов показывают: (1) помимо превосходной производительности GPT-4o, речевая модель, состоящая из каскадного ASR, LLM и TTS, превосходит совместно обученную модель после выравнивания текста и речи в протоколах speech2speech; (2) с учетом паралингвистической информации, осведомленность речевой модели в основном зависит от базовой LLM, а поддержка многоязычности ограничена речевым модулем; (3) передовые речевые модели уже способны понимать паралингвистическую информацию в речевом вводе, но генерация подходящего аудио с учетом этой информации остается сложной задачей.

English

The rapid development of large language models (LLMs) has brought significant attention to speech models, particularly recent progress in speech2speech protocols supporting speech input and output. However, the existing benchmarks adopt automatic text-based evaluators for evaluating the instruction following ability of these models lack consideration for paralinguistic information in both speech understanding and generation. To address these issues, we introduce S2S-Arena, a novel arena-style S2S benchmark that evaluates instruction-following capabilities with paralinguistic information in both speech-in and speech-out across real-world tasks. We design 154 samples that fused TTS and live recordings in four domains with 21 tasks and manually evaluate existing popular speech models in an arena-style manner. The experimental results show that: (1) in addition to the superior performance of GPT-4o, the speech model of cascaded ASR, LLM, and TTS outperforms the jointly trained model after text-speech alignment in speech2speech protocols; (2) considering paralinguistic information, the knowledgeability of the speech model mainly depends on the LLM backbone, and the multilingual support of that is limited by the speech module; (3) excellent speech models can already understand the paralinguistic information in speech input, but generating appropriate audio with paralinguistic information is still a challenge.