Investigação de Modelos de Linguagem Grandes Apenas com Decodificador para Tradução de Fala para Texto.

Investigating Decoder-only Large Language Models for Speech-to-text Translation

July 3, 2024

Autores: Chao-Wei Huang, Hui Lu, Hongyu Gong, Hirofumi Inaguma, Ilia Kulikov, Ruslan Mavlyutov, Sravya Popuri

cs.AI

Resumo

Grandes modelos de linguagem (LLMs), conhecidos por suas excepcionais capacidades de raciocínio, generalização e fluência em diversos domínios, apresentam uma via promissora para aprimorar tarefas relacionadas à fala. Neste artigo, focamos na integração de LLMs apenas decodificadores à tarefa de tradução de fala para texto (S2TT). Propomos uma arquitetura apenas decodificadora que permite ao LLM consumir diretamente a representação da fala codificada e gerar a tradução em texto. Além disso, investigamos os efeitos de diferentes técnicas de ajuste fino eficientes em parâmetros e formulação da tarefa. Nosso modelo alcança desempenho de ponta no CoVoST 2 e FLEURS entre os modelos treinados sem dados proprietários. Também realizamos análises para validar as escolhas de design de nosso modelo proposto e trazer insights para a integração de LLMs ao S2TT.

English

Large language models (LLMs), known for their exceptional reasoning capabilities, generalizability, and fluency across diverse domains, present a promising avenue for enhancing speech-related tasks. In this paper, we focus on integrating decoder-only LLMs to the task of speech-to-text translation (S2TT). We propose a decoder-only architecture that enables the LLM to directly consume the encoded speech representation and generate the text translation. Additionally, we investigate the effects of different parameter-efficient fine-tuning techniques and task formulation. Our model achieves state-of-the-art performance on CoVoST 2 and FLEURS among models trained without proprietary data. We also conduct analyses to validate the design choices of our proposed model and bring insights to the integration of LLMs to S2TT.