MIO : Un modèle de base sur les jetons multimodaux

MIO: A Foundation Model on Multimodal Tokens

September 26, 2024

Auteurs: Zekun Wang, King Zhu, Chunpu Xu, Wangchunshu Zhou, Jiaheng Liu, Yibo Zhang, Jiashuo Wang, Ning Shi, Siyu Li, Yizhi Li, Haoran Que, Zhaoxiang Zhang, Yuanxing Zhang, Ge Zhang, Ke Xu, Jie Fu, Wenhao Huang

cs.AI

Résumé

Dans cet article, nous présentons MIO, un nouveau modèle fondamental basé sur des jetons multimodaux, capable de comprendre et de générer de la parole, du texte, des images et des vidéos de manière autonome et autoregressive. Alors que l'émergence des grands modèles de langage (GML) et des grands modèles de langage multimodal (GMLM) propulse les avancées dans l'intelligence artificielle générale grâce à leurs capacités polyvalentes, ils manquent encore d'une véritable compréhension et génération any-to-any. Récemment, la sortie de GPT-4o a mis en lumière le potentiel remarquable des GML any-to-any pour des tâches complexes du monde réel, permettant une entrée et une sortie omnidirectionnelles à travers les images, la parole et le texte. Cependant, il est en source fermée et ne prend pas en charge la génération de séquences multimodales entrelacées. Pour combler cette lacune, nous présentons MIO, qui est entraîné sur un mélange de jetons discrets à travers quatre modalités en utilisant une modélisation multimodale causale. MIO passe par un processus d'entraînement en quatre étapes : (1) pré-entraînement d'alignement, (2) pré-entraînement entrelacé, (3) pré-entraînement amélioré par la parole, et (4) un ajustement fin supervisé complet sur diverses tâches textuelles, visuelles et de parole. Nos résultats expérimentaux indiquent que MIO présente des performances compétitives, et dans certains cas supérieures, par rapport aux baselines précédentes en dual-modal, aux baselines de modèle any-to-any, et même aux baselines spécifiques à la modalité. De plus, MIO démontre des capacités avancées inhérentes à sa fonction any-to-any, telles que la génération vidéo-texte entrelacée, le raisonnement en chaîne de la pensée visuelle, la génération de directives visuelles, l'édition d'images d'instruction, etc.

English

In this paper, we introduce MIO, a novel foundation model built on multimodal tokens, capable of understanding and generating speech, text, images, and videos in an end-to-end, autoregressive manner. While the emergence of large language models (LLMs) and multimodal large language models (MM-LLMs) propels advancements in artificial general intelligence through their versatile capabilities, they still lack true any-to-any understanding and generation. Recently, the release of GPT-4o has showcased the remarkable potential of any-to-any LLMs for complex real-world tasks, enabling omnidirectional input and output across images, speech, and text. However, it is closed-source and does not support the generation of multimodal interleaved sequences. To address this gap, we present MIO, which is trained on a mixture of discrete tokens across four modalities using causal multimodal modeling. MIO undergoes a four-stage training process: (1) alignment pre-training, (2) interleaved pre-training, (3) speech-enhanced pre-training, and (4) comprehensive supervised fine-tuning on diverse textual, visual, and speech tasks. Our experimental results indicate that MIO exhibits competitive, and in some cases superior, performance compared to previous dual-modal baselines, any-to-any model baselines, and even modality-specific baselines. Moreover, MIO demonstrates advanced capabilities inherent to its any-to-any feature, such as interleaved video-text generation, chain-of-visual-thought reasoning, visual guideline generation, instructional image editing, etc.