LLaMA-Omni: Naadloze spraakinteractie met grote taalmodellen

LLaMA-Omni: Seamless Speech Interaction with Large Language Models

September 10, 2024

Auteurs: Qingkai Fang, Shoutao Guo, Yan Zhou, Zhengrui Ma, Shaolei Zhang, Yang Feng

cs.AI

Samenvatting

Modellen zoals GPT-4o maken real-time interactie mogelijk met grote taalmodellen (LLM's) via spraak, wat de gebruikerservaring aanzienlijk verbetert in vergelijking met traditionele op tekst gebaseerde interactie. Er is echter nog steeds weinig verkenning naar het bouwen van spraakinteractiemodellen op basis van open-source LLM's. Om dit aan te pakken, stellen we LLaMA-Omni voor, een nieuw modelarchitectuur ontworpen voor spraakinteractie met LLM's met lage latentie en hoge kwaliteit. LLaMA-Omni integreert een vooraf getrainde spraakencoder, een spraakadapter, een LLM en een continue spraakdecoder. Het elimineert de noodzaak voor spraaktranscriptie en kan tegelijkertijd tekst en spraakreacties genereren rechtstreeks vanuit spraakinstructies met een extreem lage latentie. We bouwen ons model op basis van het nieuwste Llama-3.1-8B-Instruct-model. Om het model af te stemmen op spraakinteractiescenario's, construeren we een dataset genaamd InstructS2S-200K, die 200K spraakinstructies en bijbehorende spraakreacties bevat. Experimentele resultaten tonen aan dat LLaMA-Omni betere reacties biedt dan eerdere spraak-taalmodellen, zowel qua inhoud als stijl, met een reactielatentie van slechts 226 ms. Bovendien duurt het trainen van LLaMA-Omni minder dan 3 dagen op slechts 4 GPU's, wat de weg effent voor de efficiënte ontwikkeling van spraak-taalmodellen in de toekomst.

English

Models like GPT-4o enable real-time interaction with large language models (LLMs) through speech, significantly enhancing user experience compared to traditional text-based interaction. However, there is still a lack of exploration on how to build speech interaction models based on open-source LLMs. To address this, we propose LLaMA-Omni, a novel model architecture designed for low-latency and high-quality speech interaction with LLMs. LLaMA-Omni integrates a pretrained speech encoder, a speech adaptor, an LLM, and a streaming speech decoder. It eliminates the need for speech transcription, and can simultaneously generate text and speech responses directly from speech instructions with extremely low latency. We build our model based on the latest Llama-3.1-8B-Instruct model. To align the model with speech interaction scenarios, we construct a dataset named InstructS2S-200K, which includes 200K speech instructions and corresponding speech responses. Experimental results show that compared to previous speech-language models, LLaMA-Omni provides better responses in both content and style, with a response latency as low as 226ms. Additionally, training LLaMA-Omni takes less than 3 days on just 4 GPUs, paving the way for the efficient development of speech-language models in the future.