Исследование моделей больших языковых декодеров только для преобразования речи в текст

Investigating Decoder-only Large Language Models for Speech-to-text Translation

July 3, 2024

Авторы: Chao-Wei Huang, Hui Lu, Hongyu Gong, Hirofumi Inaguma, Ilia Kulikov, Ruslan Mavlyutov, Sravya Popuri

cs.AI

Аннотация

Большие языковые модели (LLM), известные своими исключительными способностями к рассуждениям, обобщению и беглости в различных областях, представляют собой многообещающее направление для улучшения задач, связанных со звуком. В данной статье мы сосредотачиваемся на интеграции моделей LLM только с декодером в задачу перевода речи в текст (S2TT). Мы предлагаем архитектуру только с декодером, которая позволяет LLM напрямую использовать закодированное представление речи и генерировать текстовый перевод. Кроме того, мы исследуем эффекты различных техник эффективной настройки параметров и формулировки задачи. Наша модель достигает передового уровня производительности на CoVoST 2 и FLEURS среди моделей, обученных без собственных данных. Мы также проводим анализ для подтверждения выбора дизайна нашей предложенной модели и приносим идеи по интеграции LLM в S2TT.

English

Large language models (LLMs), known for their exceptional reasoning capabilities, generalizability, and fluency across diverse domains, present a promising avenue for enhancing speech-related tasks. In this paper, we focus on integrating decoder-only LLMs to the task of speech-to-text translation (S2TT). We propose a decoder-only architecture that enables the LLM to directly consume the encoded speech representation and generate the text translation. Additionally, we investigate the effects of different parameter-efficient fine-tuning techniques and task formulation. Our model achieves state-of-the-art performance on CoVoST 2 and FLEURS among models trained without proprietary data. We also conduct analyses to validate the design choices of our proposed model and bring insights to the integration of LLMs to S2TT.