LLaMA-Omni: Interacción de Habla Continua con Modelos de Lenguaje Grandes

LLaMA-Omni: Seamless Speech Interaction with Large Language Models

September 10, 2024

Autores: Qingkai Fang, Shoutao Guo, Yan Zhou, Zhengrui Ma, Shaolei Zhang, Yang Feng

cs.AI

Resumen

Modelos como GPT-4o permiten la interacción en tiempo real con grandes modelos de lenguaje (LLMs) a través del habla, mejorando significativamente la experiencia del usuario en comparación con la interacción tradicional basada en texto. Sin embargo, todavía existe una falta de exploración sobre cómo construir modelos de interacción por voz basados en LLMs de código abierto. Para abordar esto, proponemos LLaMA-Omni, una arquitectura de modelo novedosa diseñada para una interacción por voz de baja latencia y alta calidad con LLMs. LLaMA-Omni integra un codificador de habla preentrenado, un adaptador de habla, un LLM y un decodificador de habla en continuo. Elimina la necesidad de transcripción de habla y puede generar simultáneamente respuestas de texto y habla directamente a partir de instrucciones de habla con una latencia extremadamente baja. Construimos nuestro modelo basado en el último modelo Llama-3.1-8B-Instruct. Para alinear el modelo con escenarios de interacción por voz, creamos un conjunto de datos llamado InstructS2S-200K, que incluye 200K instrucciones de habla y respuestas de habla correspondientes. Los resultados experimentales muestran que en comparación con modelos previos de habla-lenguaje, LLaMA-Omni proporciona mejores respuestas tanto en contenido como en estilo, con una latencia de respuesta tan baja como 226 ms. Además, el entrenamiento de LLaMA-Omni lleva menos de 3 días con solo 4 GPUs, allanando el camino para el desarrollo eficiente de modelos de habla-lenguaje en el futuro.

English

Models like GPT-4o enable real-time interaction with large language models (LLMs) through speech, significantly enhancing user experience compared to traditional text-based interaction. However, there is still a lack of exploration on how to build speech interaction models based on open-source LLMs. To address this, we propose LLaMA-Omni, a novel model architecture designed for low-latency and high-quality speech interaction with LLMs. LLaMA-Omni integrates a pretrained speech encoder, a speech adaptor, an LLM, and a streaming speech decoder. It eliminates the need for speech transcription, and can simultaneously generate text and speech responses directly from speech instructions with extremely low latency. We build our model based on the latest Llama-3.1-8B-Instruct model. To align the model with speech interaction scenarios, we construct a dataset named InstructS2S-200K, which includes 200K speech instructions and corresponding speech responses. Experimental results show that compared to previous speech-language models, LLaMA-Omni provides better responses in both content and style, with a response latency as low as 226ms. Additionally, training LLaMA-Omni takes less than 3 days on just 4 GPUs, paving the way for the efficient development of speech-language models in the future.