VITA-Audio: Generación Rápida de Tokens Intercalados Transmodales para Modelos de Lenguaje y Habla de Gran Escala Eficientes

VITA-Audio: Fast Interleaved Cross-Modal Token Generation for Efficient Large Speech-Language Model

May 6, 2025

Autores: Zuwei Long, Yunhang Shen, Chaoyou Fu, Heting Gao, Lijiang Li, Peixian Chen, Mengdan Zhang, Hang Shao, Jian Li, Jinlong Peng, Haoyu Cao, Ke Li, Rongrong Ji, Xing Sun

cs.AI

Resumen

Con la creciente demanda de interacción natural entre humanos y computadoras, los sistemas basados en voz reciben cada vez más atención, ya que el habla es una de las formas más comunes de comunicación diaria. Sin embargo, los modelos de habla existentes aún experimentan una alta latencia al generar el primer token de audio durante la transmisión en tiempo real, lo que representa un cuello de botella significativo para su implementación. Para abordar este problema, proponemos VITA-Audio, un modelo de habla de gran escala de extremo a extremo con generación rápida de tokens de audio y texto. Específicamente, introducimos un módulo ligero de Predicción de Múltiples Tokens Intermodales (MCTP, por sus siglas en inglés) que genera eficientemente múltiples tokens de audio en una sola pasada hacia adelante del modelo, lo que no solo acelera la inferencia sino que también reduce significativamente la latencia para generar el primer audio en escenarios de transmisión en tiempo real. Además, se explora una estrategia de entrenamiento progresivo en cuatro etapas para lograr la aceleración del modelo con una pérdida mínima de calidad del habla. Hasta donde sabemos, VITA-Audio es el primer modelo de lenguaje multimodal de gran escala capaz de generar salida de audio durante la primera pasada hacia adelante, permitiendo capacidades conversacionales en tiempo real con una latencia mínima. VITA-Audio es completamente reproducible y se entrena únicamente con datos de código abierto. Los resultados experimentales demuestran que nuestro modelo logra una aceleración en la inferencia de 3 a 5 veces en la escala de 7 mil millones de parámetros, y también supera significativamente a los modelos de código abierto de tamaño similar en múltiples benchmarks para tareas de reconocimiento automático del habla (ASR), conversión de texto a voz (TTS) y respuesta a preguntas habladas (SQA).

English

With the growing requirement for natural human-computer interaction, speech-based systems receive increasing attention as speech is one of the most common forms of daily communication. However, the existing speech models still experience high latency when generating the first audio token during streaming, which poses a significant bottleneck for deployment. To address this issue, we propose VITA-Audio, an end-to-end large speech model with fast audio-text token generation. Specifically, we introduce a lightweight Multiple Cross-modal Token Prediction (MCTP) module that efficiently generates multiple audio tokens within a single model forward pass, which not only accelerates the inference but also significantly reduces the latency for generating the first audio in streaming scenarios. In addition, a four-stage progressive training strategy is explored to achieve model acceleration with minimal loss of speech quality. To our knowledge, VITA-Audio is the first multi-modal large language model capable of generating audio output during the first forward pass, enabling real-time conversational capabilities with minimal latency. VITA-Audio is fully reproducible and is trained on open-source data only. Experimental results demonstrate that our model achieves an inference speedup of 3~5x at the 7B parameter scale, but also significantly outperforms open-source models of similar model size on multiple benchmarks for automatic speech recognition (ASR), text-to-speech (TTS), and spoken question answering (SQA) tasks.