LLMVoX: Modelo de Texto para Fala Autoregressivo em Streaming para Qualquer LLM

LLMVoX: Autoregressive Streaming Text-to-Speech Model for Any LLM

March 6, 2025

Autores: Sambal Shikhar, Mohammed Irfan Kurpath, Sahal Shaji Mullappilly, Jean Lahoud, Fahad Khan, Rao Muhammad Anwer, Salman Khan, Hisham Cholakkal

cs.AI

Resumo

Os avanços recentes em sistemas de diálogo de fala para fala utilizam LLMs para interações multimodais, mas ainda enfrentam limitações devido à necessidade de ajuste fino, alto custo computacional e desalinhamento entre texto e fala. Os LLMs habilitados para fala existentes frequentemente degradam a qualidade da conversa ao modificar o LLM, comprometendo assim suas capacidades linguísticas. Em contraste, propomos o LLMVoX, um sistema leve de TTS (síntese de fala) autoregressivo e em streaming, com 30 milhões de parâmetros e independente de LLM, que gera fala de alta qualidade com baixa latência, preservando totalmente as capacidades do LLM base. Nossa abordagem alcança uma Taxa de Erro de Palavra significativamente menor em comparação com LLMs habilitados para fala, operando com latência comparável e pontuação UTMOS semelhante. Ao desacoplar a síntese de fala do processamento do LLM por meio de um sistema de streaming de tokens com múltiplas filas, o LLMVoX suporta diálogos contínuos e de comprimento infinito. Seu design plug-and-play também facilita a extensão para várias tarefas com diferentes backbones. Além disso, o LLMVoX generaliza para novos idiomas com apenas adaptação do conjunto de dados, atingindo uma baixa Taxa de Erro de Caracteres em uma tarefa de fala em árabe. Adicionalmente, integramos o LLMVoX com um Modelo de Linguagem Visual para criar um modelo omni com capacidades de fala, texto e visão, sem a necessidade de treinamento multimodal adicional. Nossa base de código e página do projeto estão disponíveis em https://mbzuai-oryx.github.io/LLMVoX.

English

Recent advancements in speech-to-speech dialogue systems leverage LLMs for multimodal interactions, yet they remain hindered by fine-tuning requirements, high computational overhead, and text-speech misalignment. Existing speech-enabled LLMs often degrade conversational quality by modifying the LLM, thereby compromising its linguistic capabilities. In contrast, we propose LLMVoX, a lightweight 30M-parameter, LLM-agnostic, autoregressive streaming TTS system that generates high-quality speech with low latency, while fully preserving the capabilities of the base LLM. Our approach achieves a significantly lower Word Error Rate compared to speech-enabled LLMs, while operating at comparable latency and UTMOS score. By decoupling speech synthesis from LLM processing via a multi-queue token streaming system, LLMVoX supports seamless, infinite-length dialogues. Its plug-and-play design also facilitates extension to various tasks with different backbones. Furthermore, LLMVoX generalizes to new languages with only dataset adaptation, attaining a low Character Error Rate on an Arabic speech task. Additionally, we have integrated LLMVoX with a Vision-Language Model to create an omni-model with speech, text, and vision capabilities, without requiring additional multimodal training. Our code base and project page is available at https://mbzuai-oryx.github.io/LLMVoX .