LLMVoX: Modello di sintesi vocale autoregressivo in streaming per qualsiasi LLM

LLMVoX: Autoregressive Streaming Text-to-Speech Model for Any LLM

March 6, 2025

Autori: Sambal Shikhar, Mohammed Irfan Kurpath, Sahal Shaji Mullappilly, Jean Lahoud, Fahad Khan, Rao Muhammad Anwer, Salman Khan, Hisham Cholakkal

cs.AI

Abstract

I recenti progressi nei sistemi di dialogo da voce a voce sfruttano i LLM per interazioni multimodali, ma rimangono limitati dalla necessità di fine-tuning, dall'elevato overhead computazionale e dal disallineamento testo-voce. Gli LLM abilitati per la voce spesso degradano la qualità della conversazione modificando il LLM, compromettendo così le sue capacità linguistiche. Al contrario, proponiamo LLMVoX, un sistema TTS streaming autoregressivo leggero da 30M parametri, agnostico rispetto al LLM, che genera voce di alta qualità con bassa latenza, preservando pienamente le capacità del LLM di base. Il nostro approccio ottiene un tasso di errore sulle parole significativamente inferiore rispetto agli LLM abilitati per la voce, operando con una latenza e un punteggio UTMOS comparabili. Disaccoppiando la sintesi vocale dall'elaborazione del LLM tramite un sistema di streaming di token multi-coda, LLMVoX supporta dialoghi fluidi e di lunghezza infinita. Il suo design plug-and-play facilita anche l'estensione a vari compiti con diversi backbone. Inoltre, LLMVoX si generalizza a nuove lingue con solo l'adattamento del dataset, raggiungendo un basso tasso di errore sui caratteri in un compito di riconoscimento vocale in arabo. Abbiamo inoltre integrato LLMVoX con un modello visione-linguaggio per creare un modello omni con capacità di voce, testo e visione, senza richiedere ulteriore training multimodale. La nostra base di codice e la pagina del progetto sono disponibili all'indirizzo https://mbzuai-oryx.github.io/LLMVoX.

English

Recent advancements in speech-to-speech dialogue systems leverage LLMs for multimodal interactions, yet they remain hindered by fine-tuning requirements, high computational overhead, and text-speech misalignment. Existing speech-enabled LLMs often degrade conversational quality by modifying the LLM, thereby compromising its linguistic capabilities. In contrast, we propose LLMVoX, a lightweight 30M-parameter, LLM-agnostic, autoregressive streaming TTS system that generates high-quality speech with low latency, while fully preserving the capabilities of the base LLM. Our approach achieves a significantly lower Word Error Rate compared to speech-enabled LLMs, while operating at comparable latency and UTMOS score. By decoupling speech synthesis from LLM processing via a multi-queue token streaming system, LLMVoX supports seamless, infinite-length dialogues. Its plug-and-play design also facilitates extension to various tasks with different backbones. Furthermore, LLMVoX generalizes to new languages with only dataset adaptation, attaining a low Character Error Rate on an Arabic speech task. Additionally, we have integrated LLMVoX with a Vision-Language Model to create an omni-model with speech, text, and vision capabilities, without requiring additional multimodal training. Our code base and project page is available at https://mbzuai-oryx.github.io/LLMVoX .