Untersuchung von Decoder-only Großen Sprachmodellen für die Sprache-zu-Text Übersetzung

Investigating Decoder-only Large Language Models for Speech-to-text Translation

July 3, 2024

Autoren: Chao-Wei Huang, Hui Lu, Hongyu Gong, Hirofumi Inaguma, Ilia Kulikov, Ruslan Mavlyutov, Sravya Popuri

cs.AI

Zusammenfassung

Große Sprachmodelle (LLMs), bekannt für ihre außergewöhnlichen Fähigkeiten im Bereich des logischen Denkens, der Generalisierbarkeit und der Sprachgewandtheit in verschiedenen Bereichen, bieten eine vielversprechende Möglichkeit zur Verbesserung von sprachbezogenen Aufgaben. In diesem Paper konzentrieren wir uns auf die Integration von ausschließlich Decoder-basierten LLMs in die Aufgabe der Sprach-zu-Text-Übersetzung (S2TT). Wir schlagen eine Architektur vor, die es dem LLM ermöglicht, direkt die codierte Sprachrepräsentation zu verarbeiten und den Text zu generieren. Darüber hinaus untersuchen wir die Auswirkungen verschiedener parameter-effizienter Feinabstimmungstechniken und Aufgabenformulierungen. Unser Modell erzielt Spitzenleistungen bei CoVoST 2 und FLEURS im Vergleich zu Modellen, die ohne proprietäre Daten trainiert wurden. Wir führen auch Analysen durch, um die Designentscheidungen unseres vorgeschlagenen Modells zu validieren und Erkenntnisse zur Integration von LLMs in S2TT zu gewinnen.

English

Large language models (LLMs), known for their exceptional reasoning capabilities, generalizability, and fluency across diverse domains, present a promising avenue for enhancing speech-related tasks. In this paper, we focus on integrating decoder-only LLMs to the task of speech-to-text translation (S2TT). We propose a decoder-only architecture that enables the LLM to directly consume the encoded speech representation and generate the text translation. Additionally, we investigate the effects of different parameter-efficient fine-tuning techniques and task formulation. Our model achieves state-of-the-art performance on CoVoST 2 and FLEURS among models trained without proprietary data. We also conduct analyses to validate the design choices of our proposed model and bring insights to the integration of LLMs to S2TT.