VITA-Audio: Snelle Interleaved Cross-Modale Token Generatie voor Efficiënte Grote Spraak-Taalmodellen

VITA-Audio: Fast Interleaved Cross-Modal Token Generation for Efficient Large Speech-Language Model

May 6, 2025

Auteurs: Zuwei Long, Yunhang Shen, Chaoyou Fu, Heting Gao, Lijiang Li, Peixian Chen, Mengdan Zhang, Hang Shao, Jian Li, Jinlong Peng, Haoyu Cao, Ke Li, Rongrong Ji, Xing Sun

cs.AI

Samenvatting

Met de groeiende behoefte aan natuurlijke mens-computerinteractie krijgen spraakgebaseerde systemen steeds meer aandacht, aangezien spraak een van de meest voorkomende vormen van dagelijkse communicatie is. De bestaande spraakmodellen ervaren echter nog steeds een hoge latentie bij het genereren van het eerste audiotoken tijdens streaming, wat een aanzienlijk knelpunt vormt voor implementatie. Om dit probleem aan te pakken, stellen we VITA-Audio voor, een end-to-end groot spraakmodel met snelle audio-tekst-tokengeneratie. Specifiek introduceren we een lichtgewicht Multiple Cross-modal Token Prediction (MCTP)-module die efficiënt meerdere audiotokens genereert binnen een enkele model-forward pass, wat niet alleen de inferentie versnelt, maar ook de latentie voor het genereren van het eerste audio in streamingscenario's aanzienlijk vermindert. Daarnaast wordt een vierfasige progressieve trainingsstrategie onderzocht om modelversnelling te bereiken met minimaal verlies van spraakkwaliteit. Voor zover wij weten, is VITA-Audio het eerste multimodale grote taalmodel dat in staat is om audio-uitvoer te genereren tijdens de eerste forward pass, waardoor real-time conversatiemogelijkheden met minimale latentie mogelijk worden. VITA-Audio is volledig reproduceerbaar en wordt alleen getraind op open-source data. Experimentele resultaten tonen aan dat ons model een inferentieversnelling van 3~5x bereikt op de 7B parameterschaal, maar ook significant beter presteert dan open-source modellen van vergelijkbare modelgrootte op meerdere benchmarks voor automatische spraakherkenning (ASR), tekst-naar-spraak (TTS) en gesproken vraag-antwoordtaken (SQA).

English

With the growing requirement for natural human-computer interaction, speech-based systems receive increasing attention as speech is one of the most common forms of daily communication. However, the existing speech models still experience high latency when generating the first audio token during streaming, which poses a significant bottleneck for deployment. To address this issue, we propose VITA-Audio, an end-to-end large speech model with fast audio-text token generation. Specifically, we introduce a lightweight Multiple Cross-modal Token Prediction (MCTP) module that efficiently generates multiple audio tokens within a single model forward pass, which not only accelerates the inference but also significantly reduces the latency for generating the first audio in streaming scenarios. In addition, a four-stage progressive training strategy is explored to achieve model acceleration with minimal loss of speech quality. To our knowledge, VITA-Audio is the first multi-modal large language model capable of generating audio output during the first forward pass, enabling real-time conversational capabilities with minimal latency. VITA-Audio is fully reproducible and is trained on open-source data only. Experimental results demonstrate that our model achieves an inference speedup of 3~5x at the 7B parameter scale, but also significantly outperforms open-source models of similar model size on multiple benchmarks for automatic speech recognition (ASR), text-to-speech (TTS), and spoken question answering (SQA) tasks.