LLaMA-Omni : Interaction vocale transparente avec de grands modèles de langage

LLaMA-Omni: Seamless Speech Interaction with Large Language Models

September 10, 2024

Auteurs: Qingkai Fang, Shoutao Guo, Yan Zhou, Zhengrui Ma, Shaolei Zhang, Yang Feng

cs.AI

Résumé

Des modèles comme GPT-4o permettent une interaction en temps réel avec de grands modèles de langage (LLM) par la parole, améliorant significativement l'expérience utilisateur par rapport à une interaction traditionnelle basée sur le texte. Cependant, il existe encore un manque d'exploration sur la manière de construire des modèles d'interaction par la parole basés sur des LLM open source. Pour remédier à cela, nous proposons LLaMA-Omni, une architecture de modèle novatrice conçue pour une interaction par la parole avec des LLM à faible latence et de haute qualité. LLaMA-Omni intègre un encodeur de parole pré-entraîné, un adaptateur de parole, un LLM et un décodeur de parole en continu. Il élimine le besoin de transcription de la parole et peut générer simultanément des réponses textuelles et vocales directement à partir d'instructions vocales avec une latence extrêmement faible. Nous construisons notre modèle sur la base du dernier modèle Llama-3.1-8B-Instruct. Pour aligner le modèle avec des scénarios d'interaction par la parole, nous avons construit un ensemble de données nommé InstructS2S-200K, comprenant 200 000 instructions vocales et les réponses vocales correspondantes. Les résultats expérimentaux montrent que, par rapport aux modèles de langage parlé précédents, LLaMA-Omni fournit de meilleures réponses à la fois en contenu et en style, avec une latence de réponse aussi basse que 226 ms. De plus, l'entraînement de LLaMA-Omni prend moins de 3 jours sur seulement 4 GPU, ouvrant la voie au développement efficace de modèles de langage parlé à l'avenir.

English

Models like GPT-4o enable real-time interaction with large language models (LLMs) through speech, significantly enhancing user experience compared to traditional text-based interaction. However, there is still a lack of exploration on how to build speech interaction models based on open-source LLMs. To address this, we propose LLaMA-Omni, a novel model architecture designed for low-latency and high-quality speech interaction with LLMs. LLaMA-Omni integrates a pretrained speech encoder, a speech adaptor, an LLM, and a streaming speech decoder. It eliminates the need for speech transcription, and can simultaneously generate text and speech responses directly from speech instructions with extremely low latency. We build our model based on the latest Llama-3.1-8B-Instruct model. To align the model with speech interaction scenarios, we construct a dataset named InstructS2S-200K, which includes 200K speech instructions and corresponding speech responses. Experimental results show that compared to previous speech-language models, LLaMA-Omni provides better responses in both content and style, with a response latency as low as 226ms. Additionally, training LLaMA-Omni takes less than 3 days on just 4 GPUs, paving the way for the efficient development of speech-language models in the future.