MIO: Ein Grundlagenmodell für multimodale Token

MIO: A Foundation Model on Multimodal Tokens

September 26, 2024

Autoren: Zekun Wang, King Zhu, Chunpu Xu, Wangchunshu Zhou, Jiaheng Liu, Yibo Zhang, Jiashuo Wang, Ning Shi, Siyu Li, Yizhi Li, Haoran Que, Zhaoxiang Zhang, Yuanxing Zhang, Ge Zhang, Ke Xu, Jie Fu, Wenhao Huang

cs.AI

Zusammenfassung

In diesem Paper stellen wir MIO vor, ein neuartiges Grundlagenmodell, das auf multimodalen Tokens aufbaut und in der Lage ist, Sprache, Texte, Bilder und Videos in einem end-to-end, autoregressiven Ansatz zu verstehen und zu generieren. Während das Aufkommen großer Sprachmodelle (LLMs) und multimodaler großer Sprachmodelle (MM-LLMs) Fortschritte in der künstlichen allgemeinen Intelligenz durch ihre vielseitigen Fähigkeiten vorantreibt, fehlt es ihnen immer noch an echtem Verständnis und Generierung von beliebigen Inhalten. Kürzlich hat die Veröffentlichung von GPT-4o das bemerkenswerte Potenzial von beliebig-zu-beliebig LLMs für komplexe realweltliche Aufgaben gezeigt, indem sie omnidirektionale Eingabe und Ausgabe über Bilder, Sprache und Text ermöglichen. Es ist jedoch Closed-Source und unterstützt nicht die Generierung von multimodalen interleaved Sequenzen. Um diese Lücke zu schließen, präsentieren wir MIO, das auf einer Mischung diskreter Tokens über vier Modalitäten trainiert wird, unter Verwendung von kausaler multimodaler Modellierung. MIO durchläuft einen vierstufigen Trainingsprozess: (1) Ausrichtungs-Vortraining, (2) interleaved Vortraining, (3) sprachverbessertes Vortraining und (4) umfassendes überwachtes Feintuning auf vielfältigen textuellen, visuellen und sprachlichen Aufgaben. Unsere experimentellen Ergebnisse deuten darauf hin, dass MIO im Vergleich zu früheren Dual-Modal-Baselines, beliebig-zu-beliebig Modell-Baselines und sogar modalitätsspezifischen Baselines eine wettbewerbsfähige und in einigen Fällen überlegene Leistung zeigt. Darüber hinaus zeigt MIO fortgeschrittene Fähigkeiten, die seiner beliebig-zu-beliebig Funktion innewohnen, wie die interleaved Video-Text-Generierung, Ketten-von-visuellem-Denken-Argumentieren, visuelle Richtliniengenerierung, instruktive Bildbearbeitung usw.

English

In this paper, we introduce MIO, a novel foundation model built on multimodal tokens, capable of understanding and generating speech, text, images, and videos in an end-to-end, autoregressive manner. While the emergence of large language models (LLMs) and multimodal large language models (MM-LLMs) propels advancements in artificial general intelligence through their versatile capabilities, they still lack true any-to-any understanding and generation. Recently, the release of GPT-4o has showcased the remarkable potential of any-to-any LLMs for complex real-world tasks, enabling omnidirectional input and output across images, speech, and text. However, it is closed-source and does not support the generation of multimodal interleaved sequences. To address this gap, we present MIO, which is trained on a mixture of discrete tokens across four modalities using causal multimodal modeling. MIO undergoes a four-stage training process: (1) alignment pre-training, (2) interleaved pre-training, (3) speech-enhanced pre-training, and (4) comprehensive supervised fine-tuning on diverse textual, visual, and speech tasks. Our experimental results indicate that MIO exhibits competitive, and in some cases superior, performance compared to previous dual-modal baselines, any-to-any model baselines, and even modality-specific baselines. Moreover, MIO demonstrates advanced capabilities inherent to its any-to-any feature, such as interleaved video-text generation, chain-of-visual-thought reasoning, visual guideline generation, instructional image editing, etc.