VITA-Audio : Génération rapide de jetons intercalés intermodaux pour des modèles de langage et de parole de grande taille efficaces

VITA-Audio: Fast Interleaved Cross-Modal Token Generation for Efficient Large Speech-Language Model

May 6, 2025

Auteurs: Zuwei Long, Yunhang Shen, Chaoyou Fu, Heting Gao, Lijiang Li, Peixian Chen, Mengdan Zhang, Hang Shao, Jian Li, Jinlong Peng, Haoyu Cao, Ke Li, Rongrong Ji, Xing Sun

cs.AI

Résumé

Avec l'essor des besoins en interaction homme-machine naturelle, les systèmes basés sur la parole suscitent un intérêt croissant, la parole étant l'une des formes de communication quotidienne les plus courantes. Cependant, les modèles de parole existants rencontrent encore une latence élevée lors de la génération du premier jeton audio en streaming, ce qui constitue un goulot d'étranglement majeur pour leur déploiement. Pour résoudre ce problème, nous proposons VITA-Audio, un modèle de parole de grande taille de bout en bout capable de générer rapidement des jetons audio-textuels. Plus précisément, nous introduisons un module léger de prédiction de jetons multi-modaux (MCTP) qui génère efficacement plusieurs jetons audio en une seule passe avant du modèle, ce qui accélère non seulement l'inférence, mais réduit également de manière significative la latence pour générer le premier audio dans des scénarios de streaming. De plus, une stratégie d'entraînement progressive en quatre étapes est explorée pour accélérer le modèle avec une perte minimale de qualité de la parole. À notre connaissance, VITA-Audio est le premier modèle de langage multi-modal de grande taille capable de générer une sortie audio dès la première passe avant, permettant des capacités conversationnelles en temps réel avec une latence minimale. VITA-Audio est entièrement reproductible et est entraîné uniquement sur des données open source. Les résultats expérimentaux démontrent que notre modèle atteint une accélération de l'inférence de 3 à 5 fois à l'échelle de 7 milliards de paramètres, tout en surpassant de manière significative les modèles open source de taille similaire sur plusieurs benchmarks pour les tâches de reconnaissance automatique de la parole (ASR), de synthèse vocale (TTS) et de réponse à des questions orales (SQA).

English

With the growing requirement for natural human-computer interaction, speech-based systems receive increasing attention as speech is one of the most common forms of daily communication. However, the existing speech models still experience high latency when generating the first audio token during streaming, which poses a significant bottleneck for deployment. To address this issue, we propose VITA-Audio, an end-to-end large speech model with fast audio-text token generation. Specifically, we introduce a lightweight Multiple Cross-modal Token Prediction (MCTP) module that efficiently generates multiple audio tokens within a single model forward pass, which not only accelerates the inference but also significantly reduces the latency for generating the first audio in streaming scenarios. In addition, a four-stage progressive training strategy is explored to achieve model acceleration with minimal loss of speech quality. To our knowledge, VITA-Audio is the first multi-modal large language model capable of generating audio output during the first forward pass, enabling real-time conversational capabilities with minimal latency. VITA-Audio is fully reproducible and is trained on open-source data only. Experimental results demonstrate that our model achieves an inference speedup of 3~5x at the 7B parameter scale, but also significantly outperforms open-source models of similar model size on multiple benchmarks for automatic speech recognition (ASR), text-to-speech (TTS), and spoken question answering (SQA) tasks.