Vereinheitlichte multimodale Verstehens- und Generierungsmodelle: Fortschritte, Herausforderungen und Chancen

Unified Multimodal Understanding and Generation Models: Advances, Challenges, and Opportunities

May 5, 2025

Autoren: Xinjie Zhang, Jintao Guo, Shanshan Zhao, Minghao Fu, Lunhao Duan, Guo-Hua Wang, Qing-Guo Chen, Zhao Xu, Weihua Luo, Kaifu Zhang

cs.AI

Zusammenfassung

In den letzten Jahren gab es bemerkenswerte Fortschritte sowohl bei multimodalen Verständnismodellen als auch bei Bildgenerierungsmodellen. Trotz ihrer jeweiligen Erfolge haben sich diese beiden Domänen unabhängig voneinander entwickelt, was zu unterschiedlichen architektonischen Paradigmen geführt hat: Während autoregressive Architekturen das multimodale Verständnis dominiert haben, sind diffusionsbasierte Modelle zum Eckpfeiler der Bildgenerierung geworden. In jüngster Zeit wächst das Interesse an der Entwicklung einheitlicher Frameworks, die diese Aufgaben integrieren. Die neuen Fähigkeiten von GPT-4o verdeutlichen diesen Trend und unterstreichen das Potenzial für eine Vereinheitlichung. Die architektonischen Unterschiede zwischen den beiden Domänen stellen jedoch erhebliche Herausforderungen dar. Um einen klaren Überblick über die aktuellen Bemühungen zur Vereinheitlichung zu geben, präsentieren wir eine umfassende Übersicht, die zukünftige Forschungen leiten soll. Zunächst führen wir die grundlegenden Konzepte und jüngsten Fortschritte in multimodalen Verständnis- und Text-zu-Bild-Generierungsmodellen ein. Anschließend überprüfen wir bestehende einheitliche Modelle und kategorisieren sie in drei Hauptarchitekturparadigmen: diffusionsbasierte, autoregressive und hybride Ansätze, die autoregressive und Diffusionsmechanismen kombinieren. Für jede Kategorie analysieren wir die strukturellen Designs und Innovationen, die von verwandten Arbeiten eingeführt wurden. Darüber hinaus stellen wir Datensätze und Benchmarks zusammen, die speziell für einheitliche Modelle entwickelt wurden, und bieten Ressourcen für zukünftige Untersuchungen. Schließlich diskutieren wir die wichtigsten Herausforderungen in diesem jungen Bereich, einschließlich Tokenisierungsstrategie, cross-modaler Aufmerksamkeit und Daten. Da sich dieses Gebiet noch in einem frühen Stadium befindet, erwarten wir rasche Fortschritte und werden diese Übersicht regelmäßig aktualisieren. Unser Ziel ist es, weitere Forschungen zu inspirieren und der Community eine wertvolle Referenz zu bieten. Die mit dieser Übersicht verbundenen Referenzen sind auf GitHub verfügbar (https://github.com/AIDC-AI/Awesome-Unified-Multimodal-Models).

English

Recent years have seen remarkable progress in both multimodal understanding models and image generation models. Despite their respective successes, these two domains have evolved independently, leading to distinct architectural paradigms: While autoregressive-based architectures have dominated multimodal understanding, diffusion-based models have become the cornerstone of image generation. Recently, there has been growing interest in developing unified frameworks that integrate these tasks. The emergence of GPT-4o's new capabilities exemplifies this trend, highlighting the potential for unification. However, the architectural differences between the two domains pose significant challenges. To provide a clear overview of current efforts toward unification, we present a comprehensive survey aimed at guiding future research. First, we introduce the foundational concepts and recent advancements in multimodal understanding and text-to-image generation models. Next, we review existing unified models, categorizing them into three main architectural paradigms: diffusion-based, autoregressive-based, and hybrid approaches that fuse autoregressive and diffusion mechanisms. For each category, we analyze the structural designs and innovations introduced by related works. Additionally, we compile datasets and benchmarks tailored for unified models, offering resources for future exploration. Finally, we discuss the key challenges facing this nascent field, including tokenization strategy, cross-modal attention, and data. As this area is still in its early stages, we anticipate rapid advancements and will regularly update this survey. Our goal is to inspire further research and provide a valuable reference for the community. The references associated with this survey are available on GitHub (https://github.com/AIDC-AI/Awesome-Unified-Multimodal-Models).