MIO: Um Modelo Base em Tokens Multimodais

MIO: A Foundation Model on Multimodal Tokens

September 26, 2024

Autores: Zekun Wang, King Zhu, Chunpu Xu, Wangchunshu Zhou, Jiaheng Liu, Yibo Zhang, Jiashuo Wang, Ning Shi, Siyu Li, Yizhi Li, Haoran Que, Zhaoxiang Zhang, Yuanxing Zhang, Ge Zhang, Ke Xu, Jie Fu, Wenhao Huang

cs.AI

Resumo

Neste artigo, apresentamos MIO, um modelo de base inovador construído em tokens multimodais, capaz de compreender e gerar fala, texto, imagens e vídeos de forma autoregressiva e de ponta a ponta. Enquanto o surgimento de grandes modelos de linguagem (LLMs) e grandes modelos de linguagem multimodais (MM-LLMs) impulsiona avanços na inteligência artificial geral por meio de suas capacidades versáteis, eles ainda carecem de compreensão e geração verdadeiramente qualquer-para-qualquer. Recentemente, o lançamento do GPT-4o destacou o potencial notável de LLMs qualquer-para-qualquer para tarefas complexas do mundo real, possibilitando entrada e saída omnidirecionais em imagens, fala e texto. No entanto, ele é de código fechado e não suporta a geração de sequências multimodais entrelaçadas. Para abordar essa lacuna, apresentamos o MIO, que é treinado em uma mistura de tokens discretos em quatro modalidades usando modelagem multimodal causal. O MIO passa por um processo de treinamento em quatro etapas: (1) pré-treinamento de alinhamento, (2) pré-treinamento entrelaçado, (3) pré-treinamento aprimorado por fala e (4) ajuste fino supervisionado abrangente em tarefas textuais, visuais e de fala diversas. Nossos resultados experimentais indicam que o MIO apresenta desempenho competitivo e, em alguns casos, superior em comparação com baselines anteriores de modalidade dupla, baselines qualquer-para-qualquer e até mesmo baselines específicos de modalidade. Além disso, o MIO demonstra capacidades avançadas inerentes à sua característica qualquer-para-qualquer, como geração de vídeo-texto entrelaçado, raciocínio em cadeia de pensamento visual, geração de diretrizes visuais, edição de imagem instrucional, etc.

English

In this paper, we introduce MIO, a novel foundation model built on multimodal tokens, capable of understanding and generating speech, text, images, and videos in an end-to-end, autoregressive manner. While the emergence of large language models (LLMs) and multimodal large language models (MM-LLMs) propels advancements in artificial general intelligence through their versatile capabilities, they still lack true any-to-any understanding and generation. Recently, the release of GPT-4o has showcased the remarkable potential of any-to-any LLMs for complex real-world tasks, enabling omnidirectional input and output across images, speech, and text. However, it is closed-source and does not support the generation of multimodal interleaved sequences. To address this gap, we present MIO, which is trained on a mixture of discrete tokens across four modalities using causal multimodal modeling. MIO undergoes a four-stage training process: (1) alignment pre-training, (2) interleaved pre-training, (3) speech-enhanced pre-training, and (4) comprehensive supervised fine-tuning on diverse textual, visual, and speech tasks. Our experimental results indicate that MIO exhibits competitive, and in some cases superior, performance compared to previous dual-modal baselines, any-to-any model baselines, and even modality-specific baselines. Moreover, MIO demonstrates advanced capabilities inherent to its any-to-any feature, such as interleaved video-text generation, chain-of-visual-thought reasoning, visual guideline generation, instructional image editing, etc.