Mini-Omni: Modelos de Linguagem Podem Ouvir, Falar Enquanto Pensam em Tempo Real

Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming

August 29, 2024

Autores: Zhifei Xie, Changqiao Wu

cs.AI

Resumo

Avanços recentes em modelos de linguagem alcançaram progressos significativos. O GPT-4o, como um novo marco, possibilitou conversas em tempo real com humanos, demonstrando uma fluência natural quase humana. Essa interação humano-computador exige modelos com a capacidade de realizar raciocínio diretamente com a modalidade de áudio e gerar saída em streaming. No entanto, isso ainda está além do alcance dos modelos acadêmicos atuais, pois geralmente dependem de sistemas TTS adicionais para síntese de fala, resultando em latência indesejada. Este artigo apresenta o Mini-Omni, um modelo de conversação baseado em áudio de ponta a ponta, capaz de interação em tempo real por voz. Para alcançar essa capacidade, propomos um método de geração de fala instruída por texto, juntamente com estratégias de paralelização em lote durante a inferência para impulsionar ainda mais o desempenho. Nosso método também ajuda a manter as capacidades linguísticas originais do modelo com degradação mínima, permitindo que outros trabalhos estabeleçam capacidades de interação em tempo real. Chamamos esse método de treinamento de "Qualquer Modelo Pode Falar". Também introduzimos o conjunto de dados VoiceAssistant-400K para ajustar modelos otimizados para saída de fala. Até onde sabemos, o Mini-Omni é o primeiro modelo totalmente de ponta a ponta e de código aberto para interação em tempo real por voz, oferecendo um potencial valioso para pesquisas futuras.

English

Recent advances in language models have achieved significant progress. GPT-4o, as a new milestone, has enabled real-time conversations with humans, demonstrating near-human natural fluency. Such human-computer interaction necessitates models with the capability to perform reasoning directly with the audio modality and generate output in streaming. However, this remains beyond the reach of current academic models, as they typically depend on extra TTS systems for speech synthesis, resulting in undesirable latency. This paper introduces the Mini-Omni, an audio-based end-to-end conversational model, capable of real-time speech interaction. To achieve this capability, we propose a text-instructed speech generation method, along with batch-parallel strategies during inference to further boost the performance. Our method also helps to retain the original model's language capabilities with minimal degradation, enabling other works to establish real-time interaction capabilities. We call this training method "Any Model Can Talk". We also introduce the VoiceAssistant-400K dataset to fine-tune models optimized for speech output. To our best knowledge, Mini-Omni is the first fully end-to-end, open-source model for real-time speech interaction, offering valuable potential for future research.