S2S-Arena: Bewertung von Speech2Speech-Protokollen zur Befolgung von Anweisungen mit paralinguistischen Informationen

S2S-Arena, Evaluating Speech2Speech Protocols on Instruction Following with Paralinguistic Information

March 7, 2025

Autoren: Feng Jiang, Zhiyu Lin, Fan Bu, Yuhao Du, Benyou Wang, Haizhou Li

cs.AI

Zusammenfassung

Die rasante Entwicklung großer Sprachmodelle (LLMs) hat den Fokus verstärkt auf Sprachmodelle gelenkt, insbesondere auf die jüngsten Fortschritte bei Speech2Speech-Protokollen, die Spracheingabe und -ausgabe unterstützen. Die bestehenden Benchmarks verwenden jedoch automatische textbasierte Evaluatoren, um die Fähigkeit dieser Modelle, Anweisungen zu befolgen, zu bewerten, und berücksichtigen dabei keine paralinguistischen Informationen sowohl beim Sprachverständnis als auch bei der Sprachgenerierung. Um diese Probleme zu adressieren, stellen wir S2S-Arena vor, einen neuartigen Arena-Stil-S2S-Benchmark, der die Fähigkeit zur Befolgung von Anweisungen unter Berücksichtigung paralinguistischer Informationen sowohl bei der Spracheingabe als auch bei der Sprachausgabe in realen Aufgaben bewertet. Wir entwerfen 154 Proben, die TTS und Live-Aufnahmen in vier Domänen mit 21 Aufgaben kombinieren, und bewerten manuell bestehende populäre Sprachmodelle in einem Arena-Stil. Die experimentellen Ergebnisse zeigen: (1) Neben der überlegenen Leistung von GPT-4o übertrifft das Sprachmodell aus kaskadiertem ASR, LLM und TTS das gemeinsam trainierte Modell nach der Text-Sprach-Ausrichtung in Speech2Speech-Protokollen; (2) unter Berücksichtigung paralinguistischer Informationen hängt die Wissensfähigkeit des Sprachmodells hauptsächlich vom LLM-Backbone ab, und die mehrsprachige Unterstützung wird durch das Sprachmodul begrenzt; (3) exzellente Sprachmodelle können bereits die paralinguistischen Informationen in der Spracheingabe verstehen, aber die Generierung geeigneter Audiodaten mit paralinguistischen Informationen bleibt eine Herausforderung.

English

The rapid development of large language models (LLMs) has brought significant attention to speech models, particularly recent progress in speech2speech protocols supporting speech input and output. However, the existing benchmarks adopt automatic text-based evaluators for evaluating the instruction following ability of these models lack consideration for paralinguistic information in both speech understanding and generation. To address these issues, we introduce S2S-Arena, a novel arena-style S2S benchmark that evaluates instruction-following capabilities with paralinguistic information in both speech-in and speech-out across real-world tasks. We design 154 samples that fused TTS and live recordings in four domains with 21 tasks and manually evaluate existing popular speech models in an arena-style manner. The experimental results show that: (1) in addition to the superior performance of GPT-4o, the speech model of cascaded ASR, LLM, and TTS outperforms the jointly trained model after text-speech alignment in speech2speech protocols; (2) considering paralinguistic information, the knowledgeability of the speech model mainly depends on the LLM backbone, and the multilingual support of that is limited by the speech module; (3) excellent speech models can already understand the paralinguistic information in speech input, but generating appropriate audio with paralinguistic information is still a challenge.