MIO: Un Modelo Base sobre Tokens Multimodales

MIO: A Foundation Model on Multimodal Tokens

September 26, 2024

Autores: Zekun Wang, King Zhu, Chunpu Xu, Wangchunshu Zhou, Jiaheng Liu, Yibo Zhang, Jiashuo Wang, Ning Shi, Siyu Li, Yizhi Li, Haoran Que, Zhaoxiang Zhang, Yuanxing Zhang, Ge Zhang, Ke Xu, Jie Fu, Wenhao Huang

cs.AI

Resumen

En este documento, presentamos MIO, un modelo base novedoso construido sobre tokens multimodales, capaz de comprender y generar habla, texto, imágenes y videos de manera autoregresiva de extremo a extremo. Si bien la aparición de modelos de lenguaje grandes (LLMs, por sus siglas en inglés) y modelos de lenguaje grandes multimodales (MM-LLMs) impulsa avances en inteligencia artificial general a través de sus capacidades versátiles, aún carecen de una verdadera comprensión y generación de cualquier-a-cualquier. Recientemente, el lanzamiento de GPT-4o ha mostrado el notable potencial de los LLMs cualquier-a-cualquier para tareas complejas del mundo real, permitiendo una entrada y salida omnidireccionales a través de imágenes, habla y texto. Sin embargo, es de código cerrado y no admite la generación de secuencias multimodales entrelazadas. Para abordar esta brecha, presentamos MIO, que se entrena en una mezcla de tokens discretos en cuatro modalidades utilizando modelado multimodal causal. MIO pasa por un proceso de entrenamiento de cuatro etapas: (1) pre-entrenamiento de alineación, (2) pre-entrenamiento entrelazado, (3) pre-entrenamiento mejorado con habla y (4) ajuste fino supervisado integral en diversas tareas textuales, visuales y de habla. Nuestros resultados experimentales indican que MIO muestra un rendimiento competitivo, y en algunos casos superior, en comparación con baselines duales previos, baselines de modelos cualquier-a-cualquier e incluso baselines específicos de modalidad. Además, MIO demuestra capacidades avanzadas inherentes a su característica cualquier-a-cualquier, como generación de video-texto entrelazado, razonamiento en cadena de pensamiento visual, generación de pautas visuales, edición de imágenes instructivas, etc.

English

In this paper, we introduce MIO, a novel foundation model built on multimodal tokens, capable of understanding and generating speech, text, images, and videos in an end-to-end, autoregressive manner. While the emergence of large language models (LLMs) and multimodal large language models (MM-LLMs) propels advancements in artificial general intelligence through their versatile capabilities, they still lack true any-to-any understanding and generation. Recently, the release of GPT-4o has showcased the remarkable potential of any-to-any LLMs for complex real-world tasks, enabling omnidirectional input and output across images, speech, and text. However, it is closed-source and does not support the generation of multimodal interleaved sequences. To address this gap, we present MIO, which is trained on a mixture of discrete tokens across four modalities using causal multimodal modeling. MIO undergoes a four-stage training process: (1) alignment pre-training, (2) interleaved pre-training, (3) speech-enhanced pre-training, and (4) comprehensive supervised fine-tuning on diverse textual, visual, and speech tasks. Our experimental results indicate that MIO exhibits competitive, and in some cases superior, performance compared to previous dual-modal baselines, any-to-any model baselines, and even modality-specific baselines. Moreover, MIO demonstrates advanced capabilities inherent to its any-to-any feature, such as interleaved video-text generation, chain-of-visual-thought reasoning, visual guideline generation, instructional image editing, etc.