Слух для перевода: Эффективность интеграции речевой модальности в большие языковые модели
Hearing to Translate: The Effectiveness of Speech Modality Integration into LLMs
December 18, 2025
Авторы: Sara Papi, Javier Garcia Gilabert, Zachary Hopton, Vilém Zouhar, Carlos Escolano, Gerard I. Gállego, Jorge Iranzo-Sánchez, Ahrii Kim, Dominik Macháček, Patricia Schmidtova, Maike Züfle
cs.AI
Аннотация
По мере того как большие языковые модели (LLM) выходят за рамки текста, интеграция речи в качестве собственной модальности привела к появлению SpeechLLM — моделей, предназначенных для прямого перевода устной речи, минуя традиционные конвейеры на основе транскрипции. Однако вопрос о том, улучшает ли такая интеграция качество перевода речь-текст по сравнению с устоявшимися каскадными архитектурами, остается открытым. Мы представляем Hearing to Translate — первый комплексный набор тестов, в котором проводится строгое сравнение 5 современных моделей SpeechLLM с 16 мощными прямыми и каскадными системами, объединяющими передовые фундаментальные модели речи (Speech Foundation Models, SFM) с многоязычными LLM. Наш анализ охватывает 16 тестовых наборов, 13 языковых пар и 9 сложных условий, включая речь с запинками, зашумленную речь и длинные высказывания. В ходе этого масштабного оценивания мы обнаружили, что каскадные системы в целом остаются наиболее надежными, тогда как современные SpeechLLM превосходят каскады лишь в отдельных сценариях, а модели SFM отстают от обоих подходов. Это подчеркивает, что интеграция LLM — как внутри модели, так и в составе конвейера — является ключевым условием для высококачественного перевода речи.
English
As Large Language Models (LLMs) expand beyond text, integrating speech as a native modality has given rise to SpeechLLMs, which aim to translate spoken language directly, thereby bypassing traditional transcription-based pipelines. Whether this integration improves speech-to-text translation quality over established cascaded architectures, however, remains an open question. We present Hearing to Translate, the first comprehensive test suite rigorously benchmarking 5 state-of-the-art SpeechLLMs against 16 strong direct and cascade systems that couple leading speech foundation models (SFM), with multilingual LLMs. Our analysis spans 16 benchmarks, 13 language pairs, and 9 challenging conditions, including disfluent, noisy, and long-form speech. Across this extensive evaluation, we find that cascaded systems remain the most reliable overall, while current SpeechLLMs only match cascades in selected settings and SFMs lag behind both, highlighting that integrating an LLM, either within the model or in a pipeline, is essential for high-quality speech translation.