VITA-Audio: Generazione Rapida di Token Interallacciati Cross-Modali per Modelli Linguistici Vocali di Grande Scala Efficienti

VITA-Audio: Fast Interleaved Cross-Modal Token Generation for Efficient Large Speech-Language Model

May 6, 2025

Autori: Zuwei Long, Yunhang Shen, Chaoyou Fu, Heting Gao, Lijiang Li, Peixian Chen, Mengdan Zhang, Hang Shao, Jian Li, Jinlong Peng, Haoyu Cao, Ke Li, Rongrong Ji, Xing Sun

cs.AI

Abstract

Con la crescente necessità di interazioni uomo-computer naturali, i sistemi basati sul parlato ricevono un'attenzione sempre maggiore, poiché il parlato è una delle forme più comuni di comunicazione quotidiana. Tuttavia, i modelli di parlato esistenti continuano a sperimentare un'elevata latenza durante la generazione del primo token audio nello streaming, rappresentando un significativo collo di bottiglia per il deployment. Per affrontare questo problema, proponiamo VITA-Audio, un modello di parlato end-to-end di grandi dimensioni con una generazione rapida di token audio-testo. Nello specifico, introduciamo un modulo leggero di Multiple Cross-modal Token Prediction (MCTP) che genera efficientemente più token audio in un singolo passaggio in avanti del modello, accelerando non solo l'inferenza ma riducendo significativamente anche la latenza per la generazione del primo audio negli scenari di streaming. Inoltre, viene esplorata una strategia di addestramento progressivo in quattro fasi per ottenere un'accelerazione del modello con una perdita minima della qualità del parlato. A nostra conoscenza, VITA-Audio è il primo modello linguistico multi-modale di grandi dimensioni in grado di generare output audio durante il primo passaggio in avanti, abilitando capacità conversazionali in tempo reale con latenza minima. VITA-Audio è completamente riproducibile e addestrato esclusivamente su dati open-source. I risultati sperimentali dimostrano che il nostro modello raggiunge un'accelerazione dell'inferenza di 3~5x alla scala di 7B parametri, ma supera anche significativamente i modelli open-source di dimensioni simili su molteplici benchmark per il riconoscimento automatico del parlato (ASR), la sintesi vocale (TTS) e le attività di risposta a domande vocali (SQA).

English

With the growing requirement for natural human-computer interaction, speech-based systems receive increasing attention as speech is one of the most common forms of daily communication. However, the existing speech models still experience high latency when generating the first audio token during streaming, which poses a significant bottleneck for deployment. To address this issue, we propose VITA-Audio, an end-to-end large speech model with fast audio-text token generation. Specifically, we introduce a lightweight Multiple Cross-modal Token Prediction (MCTP) module that efficiently generates multiple audio tokens within a single model forward pass, which not only accelerates the inference but also significantly reduces the latency for generating the first audio in streaming scenarios. In addition, a four-stage progressive training strategy is explored to achieve model acceleration with minimal loss of speech quality. To our knowledge, VITA-Audio is the first multi-modal large language model capable of generating audio output during the first forward pass, enabling real-time conversational capabilities with minimal latency. VITA-Audio is fully reproducible and is trained on open-source data only. Experimental results demonstrate that our model achieves an inference speedup of 3~5x at the 7B parameter scale, but also significantly outperforms open-source models of similar model size on multiple benchmarks for automatic speech recognition (ASR), text-to-speech (TTS), and spoken question answering (SQA) tasks.