MinMo: Een Multimodaal Groot Taalmodel voor Naadloze Spraakinteractie

MinMo: A Multimodal Large Language Model for Seamless Voice Interaction

January 10, 2025

Auteurs: Qian Chen, Yafeng Chen, Yanni Chen, Mengzhe Chen, Yingda Chen, Chong Deng, Zhihao Du, Ruize Gao, Changfeng Gao, Zhifu Gao, Yabin Li, Xiang Lv, Jiaqing Liu, Haoneng Luo, Bin Ma, Chongjia Ni, Xian Shi, Jialong Tang, Hui Wang, Hao Wang, Wen Wang, Yuxuan Wang, Yunlan Xu, Fan Yu, Zhijie Yan, Yexin Yang, Baosong Yang, Xian Yang, Guanrou Yang, Tianyu Zhao, Qinglin Zhang, Shiliang Zhang, Nan Zhao, Pei Zhang, Chong Zhang, Jinren Zhou

cs.AI

Samenvatting

Recente ontwikkelingen in grote taalmodellen (LLM's) en multimodale spraak-tekstmodellen hebben de basis gelegd voor naadloze spraakinteracties, waardoor real-time, natuurlijke en mensachtige gesprekken mogelijk zijn. Vorige modellen voor spraakinteracties worden gecategoriseerd als inheems en uitgelijnd. Inheemse modellen integreren spraak- en tekstverwerking in één raamwerk, maar worstelen met problemen zoals verschillende sequentielengtes en onvoldoende voorafgaande training. Uitgelijnde modellen behouden de tekst LLM-capaciteiten, maar worden vaak beperkt door kleine datasets en een beperkte focus op spraaktaken. In dit werk introduceren we MinMo, een Multimodaal Groot Taalmodel met ongeveer 8 miljard parameters voor naadloze spraakinteractie. We pakken de belangrijkste beperkingen van eerdere uitgelijnde multimodale modellen aan. We trainen MinMo via meerdere stadia van spraak-naar-tekst uitlijning, tekst-naar-spraak uitlijning, spraak-naar-spraak uitlijning, en duplex-interactie-uitlijning, op 1,4 miljoen uur diverse spraakgegevens en een breed scala aan spraaktaken. Na de training in meerdere stadia behaalt MinMo state-of-the-art prestaties over verschillende benchmarks voor spraakbegrip en -generatie, terwijl het de capaciteiten van tekst LLM's behoudt, en ook volledige duplex-gesprekken vergemakkelijkt, dat wil zeggen, gelijktijdige tweerichtingscommunicatie tussen de gebruiker en het systeem. Bovendien stellen we een nieuw en eenvoudig stemdecoder voor die eerdere modellen overtreft in stemgeneratie. De verbeterde instructievolgcapaciteiten van MinMo ondersteunen het controleren van spraakgeneratie op basis van gebruikersinstructies, met verschillende nuances, waaronder emoties, dialecten en spreeksnelheden, en het nabootsen van specifieke stemmen. Voor MinMo is de spraak-naar-tekst latentie ongeveer 100 ms, de volledige duplex latentie is theoretisch ongeveer 600 ms en in de praktijk 800 ms. De MinMo-projectpagina is https://funaudiollm.github.io/minmo, en de code en modellen zullen binnenkort worden vrijgegeven.

English

Recent advancements in large language models (LLMs) and multimodal speech-text models have laid the groundwork for seamless voice interactions, enabling real-time, natural, and human-like conversations. Previous models for voice interactions are categorized as native and aligned. Native models integrate speech and text processing in one framework but struggle with issues like differing sequence lengths and insufficient pre-training. Aligned models maintain text LLM capabilities but are often limited by small datasets and a narrow focus on speech tasks. In this work, we introduce MinMo, a Multimodal Large Language Model with approximately 8B parameters for seamless voice interaction. We address the main limitations of prior aligned multimodal models. We train MinMo through multiple stages of speech-to-text alignment, text-to-speech alignment, speech-to-speech alignment, and duplex interaction alignment, on 1.4 million hours of diverse speech data and a broad range of speech tasks. After the multi-stage training, MinMo achieves state-of-the-art performance across various benchmarks for voice comprehension and generation while maintaining the capabilities of text LLMs, and also facilitates full-duplex conversation, that is, simultaneous two-way communication between the user and the system. Moreover, we propose a novel and simple voice decoder that outperforms prior models in voice generation. The enhanced instruction-following capabilities of MinMo supports controlling speech generation based on user instructions, with various nuances including emotions, dialects, and speaking rates, and mimicking specific voices. For MinMo, the speech-to-text latency is approximately 100ms, full-duplex latency is approximately 600ms in theory and 800ms in practice. The MinMo project web page is https://funaudiollm.github.io/minmo, and the code and models will be released soon.