Mini-Omni: i Modelli Linguistici Possono Ascoltare, Parlare Mentre Pensano in Streaming

Mini-Omni: Language Models Can Hear, Talk While Thinking in Streaming

August 29, 2024

Autori: Zhifei Xie, Changqiao Wu

cs.AI

Abstract

Recenti progressi nei modelli linguistici hanno ottenuto significativi avanzamenti. GPT-4o, come nuovo traguardo, ha reso possibili conversazioni in tempo reale con gli esseri umani, dimostrando una fluidità naturale quasi umana. Tale interazione uomo-computer richiede modelli con la capacità di eseguire ragionamenti direttamente con la modalità audio e generare output in streaming. Tuttavia, ciò rimane al di là della portata dei modelli accademici attuali, poiché dipendono tipicamente da sistemi TTS aggiuntivi per la sintesi vocale, con conseguente latenza indesiderata. Questo articolo introduce il Mini-Omni, un modello conversazionale end-to-end basato sull'audio, in grado di interagire in tempo reale con la voce. Per raggiungere questa capacità, proponiamo un metodo di generazione vocale istruita dal testo, insieme a strategie batch-parallelo durante l'inferenza per potenziare ulteriormente le prestazioni. Il nostro metodo aiuta anche a mantenere le capacità linguistiche originali del modello con una degradazione minima, consentendo ad altri lavori di stabilire capacità di interazione in tempo reale. Chiamiamo questo metodo di addestramento "Any Model Can Talk". Introduciamo inoltre il dataset VoiceAssistant-400K per ottimizzare i modelli per l'output vocale. A quanto sappiamo, Mini-Omni è il primo modello completamente end-to-end open-source per l'interazione vocale in tempo reale, offrendo un potenziale valore per la ricerca futura.

English

Recent advances in language models have achieved significant progress. GPT-4o, as a new milestone, has enabled real-time conversations with humans, demonstrating near-human natural fluency. Such human-computer interaction necessitates models with the capability to perform reasoning directly with the audio modality and generate output in streaming. However, this remains beyond the reach of current academic models, as they typically depend on extra TTS systems for speech synthesis, resulting in undesirable latency. This paper introduces the Mini-Omni, an audio-based end-to-end conversational model, capable of real-time speech interaction. To achieve this capability, we propose a text-instructed speech generation method, along with batch-parallel strategies during inference to further boost the performance. Our method also helps to retain the original model's language capabilities with minimal degradation, enabling other works to establish real-time interaction capabilities. We call this training method "Any Model Can Talk". We also introduce the VoiceAssistant-400K dataset to fine-tune models optimized for speech output. To our best knowledge, Mini-Omni is the first fully end-to-end, open-source model for real-time speech interaction, offering valuable potential for future research.