LLMVoX : Modèle de synthèse vocale en streaming autorégressif pour tout LLM

LLMVoX: Autoregressive Streaming Text-to-Speech Model for Any LLM

March 6, 2025

Auteurs: Sambal Shikhar, Mohammed Irfan Kurpath, Sahal Shaji Mullappilly, Jean Lahoud, Fahad Khan, Rao Muhammad Anwer, Salman Khan, Hisham Cholakkal

cs.AI

Résumé

Les récents progrès dans les systèmes de dialogue parole-parole exploitent les LLM pour des interactions multimodales, mais ils restent limités par les besoins de fine-tuning, la charge de calcul élevée et les désalignements texte-parole. Les LLM compatibles avec la parole existants dégradent souvent la qualité conversationnelle en modifiant le LLM, compromettant ainsi ses capacités linguistiques. En revanche, nous proposons LLMVoX, un système TTS en streaming autoregressif léger de 30M paramètres, indépendant du LLM, qui génère une parole de haute qualité avec une faible latence, tout en préservant pleinement les capacités du LLM de base. Notre approche atteint un taux d'erreur sur les mots significativement plus faible par rapport aux LLM compatibles avec la parole, tout en opérant avec une latence et un score UTMOS comparables. En découplant la synthèse vocale du traitement du LLM via un système de streaming de tokens à files multiples, LLMVoX supporte des dialogues fluides et de longueur infinie. Son design plug-and-play facilite également l'extension à diverses tâches avec différentes architectures. De plus, LLMVoX généralise à de nouvelles langues avec seulement une adaptation du jeu de données, atteignant un faible taux d'erreur sur les caractères dans une tâche de parole en arabe. Par ailleurs, nous avons intégré LLMVoX avec un modèle vision-langage pour créer un modèle omni avec des capacités de parole, texte et vision, sans nécessiter d'entraînement multimodal supplémentaire. Notre base de code et page de projet sont disponibles à l'adresse https://mbzuai-oryx.github.io/LLMVoX.

English

Recent advancements in speech-to-speech dialogue systems leverage LLMs for multimodal interactions, yet they remain hindered by fine-tuning requirements, high computational overhead, and text-speech misalignment. Existing speech-enabled LLMs often degrade conversational quality by modifying the LLM, thereby compromising its linguistic capabilities. In contrast, we propose LLMVoX, a lightweight 30M-parameter, LLM-agnostic, autoregressive streaming TTS system that generates high-quality speech with low latency, while fully preserving the capabilities of the base LLM. Our approach achieves a significantly lower Word Error Rate compared to speech-enabled LLMs, while operating at comparable latency and UTMOS score. By decoupling speech synthesis from LLM processing via a multi-queue token streaming system, LLMVoX supports seamless, infinite-length dialogues. Its plug-and-play design also facilitates extension to various tasks with different backbones. Furthermore, LLMVoX generalizes to new languages with only dataset adaptation, attaining a low Character Error Rate on an Arabic speech task. Additionally, we have integrated LLMVoX with a Vision-Language Model to create an omni-model with speech, text, and vision capabilities, without requiring additional multimodal training. Our code base and project page is available at https://mbzuai-oryx.github.io/LLMVoX .