VITA-Audio: Schnelle verschachtelte cross-modale Token-Generierung für effiziente große Sprach-Sprachmodelle

VITA-Audio: Fast Interleaved Cross-Modal Token Generation for Efficient Large Speech-Language Model

May 6, 2025

Autoren: Zuwei Long, Yunhang Shen, Chaoyou Fu, Heting Gao, Lijiang Li, Peixian Chen, Mengdan Zhang, Hang Shao, Jian Li, Jinlong Peng, Haoyu Cao, Ke Li, Rongrong Ji, Xing Sun

cs.AI

Zusammenfassung

Mit der zunehmenden Nachfrage nach natürlicher Mensch-Computer-Interaktion erhalten sprachbasierte Systeme immer mehr Aufmerksamkeit, da Sprache eine der häufigsten Formen der täglichen Kommunikation ist. Allerdings weisen bestehende Sprachmodelle immer noch eine hohe Latenz bei der Erzeugung des ersten Audio-Tokens während des Streamings auf, was eine erhebliche Hürde für die Bereitstellung darstellt. Um dieses Problem zu lösen, schlagen wir VITA-Audio vor, ein end-to-end großes Sprachmodell mit schneller Audio-Text-Token-Generierung. Konkret führen wir ein leichtgewichtiges Multiple Cross-modal Token Prediction (MCTP)-Modul ein, das effizient mehrere Audio-Tokens innerhalb eines einzigen Modell-Durchlaufs generiert, was nicht nur die Inferenz beschleunigt, sondern auch die Latenz bei der Erzeugung des ersten Audios in Streaming-Szenarien erheblich reduziert. Darüber hinaus wird eine vierstufige progressive Trainingsstrategie untersucht, um eine Modellbeschleunigung mit minimalem Verlust der Sprachqualität zu erreichen. Nach unserem Wissen ist VITA-Audio das erste multimodale Large Language Model, das in der Lage ist, während des ersten Durchlaufs Audio-Ausgaben zu generieren, wodurch Echtzeit-Konversationsfähigkeiten mit minimaler Latenz ermöglicht werden. VITA-Audio ist vollständig reproduzierbar und wird ausschließlich auf Open-Source-Daten trainiert. Experimentelle Ergebnisse zeigen, dass unser Modell eine Beschleunigung der Inferenz um das 3- bis 5-fache bei 7B Parametern erreicht, aber auch Open-Source-Modelle ähnlicher Größe auf mehreren Benchmarks für automatische Spracherkennung (ASR), Text-zu-Sprache (TTS) und gesprochene Frage-Antwort-Systeme (SQA) deutlich übertrifft.

English

With the growing requirement for natural human-computer interaction, speech-based systems receive increasing attention as speech is one of the most common forms of daily communication. However, the existing speech models still experience high latency when generating the first audio token during streaming, which poses a significant bottleneck for deployment. To address this issue, we propose VITA-Audio, an end-to-end large speech model with fast audio-text token generation. Specifically, we introduce a lightweight Multiple Cross-modal Token Prediction (MCTP) module that efficiently generates multiple audio tokens within a single model forward pass, which not only accelerates the inference but also significantly reduces the latency for generating the first audio in streaming scenarios. In addition, a four-stage progressive training strategy is explored to achieve model acceleration with minimal loss of speech quality. To our knowledge, VITA-Audio is the first multi-modal large language model capable of generating audio output during the first forward pass, enabling real-time conversational capabilities with minimal latency. VITA-Audio is fully reproducible and is trained on open-source data only. Experimental results demonstrate that our model achieves an inference speedup of 3~5x at the 7B parameter scale, but also significantly outperforms open-source models of similar model size on multiple benchmarks for automatic speech recognition (ASR), text-to-speech (TTS), and spoken question answering (SQA) tasks.