Hören zum Übersetzen: Die Effektivität der Integration von Sprachmodalitäten in LLMs
Hearing to Translate: The Effectiveness of Speech Modality Integration into LLMs
December 18, 2025
papers.authors: Sara Papi, Javier Garcia Gilabert, Zachary Hopton, Vilém Zouhar, Carlos Escolano, Gerard I. Gállego, Jorge Iranzo-Sánchez, Ahrii Kim, Dominik Macháček, Patricia Schmidtova, Maike Züfle
cs.AI
papers.abstract
Da sich große Sprachmodelle (LLMs) über Text hinaus erweitern, hat die Integration von Sprache als native Modalität zu SpeechLLMs geführt, die gesprochene Sprache direkt übersetzen und damit herkömmliche transkriptionsbasierte Pipelines umgehen sollen. Ob diese Integration jedoch die Qualität der Sprach-zu-Text-Übersetzung gegenüber etablierten kaskadierten Architekturen verbessert, bleibt eine offene Frage. Wir präsentieren Hearing to Translate, die erste umfassende Testsuite, die 5 state-of-the-art SpeechLLMs rigoros gegen 16 starke direkte und Kaskadensysteme vergleicht, die führende Sprach-Foundation-Modelle (SFM) mit mehrsprachigen LLMs koppeln. Unsere Analyse umfasst 16 Benchmarks, 13 Sprachpaare und 9 anspruchsvolle Bedingungen, einschließlich unflüssiger, verrauschter und langformiger Sprache. In dieser umfangreichen Evaluation stellen wir fest, dass Kaskadensysteme insgesamt die zuverlässigste Lösung bleiben, während aktuelle SpeechLLMs Kaskaden nur in ausgewählten Szenarien erreichen und SFMs beiden hinterherhinken. Dies unterstreicht, dass die Integration eines LLM – entweder innerhalb des Modells oder in einer Pipeline – für hochwertige Sprachübersetzung entscheidend ist.
English
As Large Language Models (LLMs) expand beyond text, integrating speech as a native modality has given rise to SpeechLLMs, which aim to translate spoken language directly, thereby bypassing traditional transcription-based pipelines. Whether this integration improves speech-to-text translation quality over established cascaded architectures, however, remains an open question. We present Hearing to Translate, the first comprehensive test suite rigorously benchmarking 5 state-of-the-art SpeechLLMs against 16 strong direct and cascade systems that couple leading speech foundation models (SFM), with multilingual LLMs. Our analysis spans 16 benchmarks, 13 language pairs, and 9 challenging conditions, including disfluent, noisy, and long-form speech. Across this extensive evaluation, we find that cascaded systems remain the most reliable overall, while current SpeechLLMs only match cascades in selected settings and SFMs lag behind both, highlighting that integrating an LLM, either within the model or in a pipeline, is essential for high-quality speech translation.