VITA-Audio: Geração Rápida de Tokens Intercalados de Modalidade Cruzada para Modelos de Linguagem de Fala de Grande Escala Eficientes

Resumo

Com a crescente demanda por interação natural entre humanos e computadores, os sistemas baseados em fala recebem atenção cada vez maior, já que a fala é uma das formas mais comuns de comunicação diária. No entanto, os modelos de fala existentes ainda enfrentam alta latência ao gerar o primeiro token de áudio durante o streaming, o que representa um gargalo significativo para a implantação. Para resolver esse problema, propomos o VITA-Audio, um modelo de fala de grande escala de ponta a ponta com geração rápida de tokens de áudio-texto. Especificamente, introduzimos um módulo leve de Predição de Múltiplos Tokens Transmodais (MCTP, na sigla em inglês) que gera eficientemente vários tokens de áudio em uma única passagem direta do modelo, o que não apenas acelera a inferência, mas também reduz significativamente a latência para gerar o primeiro áudio em cenários de streaming. Além disso, uma estratégia de treinamento progressivo em quatro etapas é explorada para alcançar a aceleração do modelo com perda mínima de qualidade de fala. Até onde sabemos, o VITA-Audio é o primeiro modelo de linguagem multimodal de grande escala capaz de gerar saída de áudio durante a primeira passagem direta, permitindo capacidades de conversação em tempo real com latência mínima. O VITA-Audio é totalmente reproduzível e é treinado apenas com dados de código aberto. Os resultados experimentais demonstram que nosso modelo alcança uma aceleração de inferência de 3 a 5 vezes na escala de 7 bilhões de parâmetros, mas também supera significativamente modelos de código aberto de tamanho similar em vários benchmarks para tarefas de reconhecimento automático de fala (ASR), conversão de texto em fala (TTS) e resposta a perguntas faladas (SQA).

English

With the growing requirement for natural human-computer interaction, speech-based systems receive increasing attention as speech is one of the most common forms of daily communication. However, the existing speech models still experience high latency when generating the first audio token during streaming, which poses a significant bottleneck for deployment. To address this issue, we propose VITA-Audio, an end-to-end large speech model with fast audio-text token generation. Specifically, we introduce a lightweight Multiple Cross-modal Token Prediction (MCTP) module that efficiently generates multiple audio tokens within a single model forward pass, which not only accelerates the inference but also significantly reduces the latency for generating the first audio in streaming scenarios. In addition, a four-stage progressive training strategy is explored to achieve model acceleration with minimal loss of speech quality. To our knowledge, VITA-Audio is the first multi-modal large language model capable of generating audio output during the first forward pass, enabling real-time conversational capabilities with minimal latency. VITA-Audio is fully reproducible and is trained on open-source data only. Experimental results demonstrate that our model achieves an inference speedup of 3~5x at the 7B parameter scale, but also significantly outperforms open-source models of similar model size on multiple benchmarks for automatic speech recognition (ASR), text-to-speech (TTS), and spoken question answering (SQA) tasks.

VITA-Audio: Geração Rápida de Tokens Intercalados de Modalidade Cruzada para Modelos de Linguagem de Fala de Grande Escala Eficientes

VITA-Audio: Fast Interleaved Cross-Modal Token Generation for Efficient Large Speech-Language Model

Resumo

Support