MIO: Een Fundamenteel Model over Multimodale Tokens

MIO: A Foundation Model on Multimodal Tokens

September 26, 2024

Auteurs: Zekun Wang, King Zhu, Chunpu Xu, Wangchunshu Zhou, Jiaheng Liu, Yibo Zhang, Jiashuo Wang, Ning Shi, Siyu Li, Yizhi Li, Haoran Que, Zhaoxiang Zhang, Yuanxing Zhang, Ge Zhang, Ke Xu, Jie Fu, Wenhao Huang

cs.AI

Samenvatting

In dit artikel introduceren we MIO, een nieuw grondleggend model gebouwd op multimodale tokens, in staat om spraak, tekst, afbeeldingen en video's te begrijpen en genereren op een end-to-end, autoregressieve manier. Terwijl de opkomst van grote taalmodellen (LLM's) en multimodale grote taalmodellen (MM-LLM's) vooruitgang in kunstmatige algemene intelligentie stimuleert door hun veelzijdige mogelijkheden, ontbreekt het hen nog steeds aan echte elk-naar-elk begrip en generatie. Onlangs heeft de release van GPT-4o het opmerkelijke potentieel van elk-naar-elk LLM's voor complexe real-world taken laten zien, waardoor omnidirectionele invoer en uitvoer over afbeeldingen, spraak en tekst mogelijk is. Echter, het is gesloten-bron en ondersteunt niet de generatie van multimodale onderling geweven sequenties. Om deze lacune aan te pakken, presenteren we MIO, dat getraind is op een mix van discrete tokens over vier modaliteiten met behulp van causale multimodale modellering. MIO doorloopt een viertraps trainingsproces: (1) uitlijningsvooraftraining, (2) onderlinge vooraftraining, (3) spraak-versterkte vooraftraining, en (4) uitgebreide begeleide fijnafstemming op diverse tekstuele, visuele en spraaktaken. Onze experimentele resultaten geven aan dat MIO competitieve, en in sommige gevallen superieure, prestaties vertoont in vergelijking met eerdere dual-modale baselines, elk-naar-elk model baselines, en zelfs modaliteit-specifieke baselines. Bovendien toont MIO geavanceerde mogelijkheden inherent aan zijn elk-naar-elk functie, zoals onderlinge video-tekst generatie, keten-van-visueel-denken redenering, visuele richtlijn generatie, instructieve beeldbewerking, enzovoort.

English

In this paper, we introduce MIO, a novel foundation model built on multimodal tokens, capable of understanding and generating speech, text, images, and videos in an end-to-end, autoregressive manner. While the emergence of large language models (LLMs) and multimodal large language models (MM-LLMs) propels advancements in artificial general intelligence through their versatile capabilities, they still lack true any-to-any understanding and generation. Recently, the release of GPT-4o has showcased the remarkable potential of any-to-any LLMs for complex real-world tasks, enabling omnidirectional input and output across images, speech, and text. However, it is closed-source and does not support the generation of multimodal interleaved sequences. To address this gap, we present MIO, which is trained on a mixture of discrete tokens across four modalities using causal multimodal modeling. MIO undergoes a four-stage training process: (1) alignment pre-training, (2) interleaved pre-training, (3) speech-enhanced pre-training, and (4) comprehensive supervised fine-tuning on diverse textual, visual, and speech tasks. Our experimental results indicate that MIO exhibits competitive, and in some cases superior, performance compared to previous dual-modal baselines, any-to-any model baselines, and even modality-specific baselines. Moreover, MIO demonstrates advanced capabilities inherent to its any-to-any feature, such as interleaved video-text generation, chain-of-visual-thought reasoning, visual guideline generation, instructional image editing, etc.