Modelos Unificados de Compreensão e Geração Multimodal: Avanços, Desafios e Oportunidades

Unified Multimodal Understanding and Generation Models: Advances, Challenges, and Opportunities

May 5, 2025

Autores: Xinjie Zhang, Jintao Guo, Shanshan Zhao, Minghao Fu, Lunhao Duan, Guo-Hua Wang, Qing-Guo Chen, Zhao Xu, Weihua Luo, Kaifu Zhang

cs.AI

Resumo

Nos últimos anos, observamos progressos notáveis tanto em modelos de compreensão multimodal quanto em modelos de geração de imagens. Apesar de seus respectivos sucessos, esses dois domínios evoluíram de forma independente, resultando em paradigmas arquitetônicos distintos: enquanto arquiteturas baseadas em autoregressão dominaram a compreensão multimodal, modelos baseados em difusão tornaram-se a base da geração de imagens. Recentemente, tem crescido o interesse no desenvolvimento de frameworks unificados que integram essas tarefas. O surgimento das novas capacidades do GPT-4o exemplifica essa tendência, destacando o potencial para unificação. No entanto, as diferenças arquitetônicas entre os dois domínios apresentam desafios significativos. Para fornecer uma visão clara dos esforços atuais em direção à unificação, apresentamos uma pesquisa abrangente com o objetivo de guiar futuras investigações. Primeiro, introduzimos os conceitos fundamentais e os avanços recentes em modelos de compreensão multimodal e geração de texto para imagem. Em seguida, revisamos os modelos unificados existentes, categorizando-os em três principais paradigmas arquitetônicos: baseados em difusão, baseados em autoregressão e abordagens híbridas que fundem mecanismos autoregressivos e de difusão. Para cada categoria, analisamos os designs estruturais e as inovações introduzidas por trabalhos relacionados. Além disso, compilamos conjuntos de dados e benchmarks específicos para modelos unificados, oferecendo recursos para exploração futura. Por fim, discutimos os principais desafios enfrentados por esse campo emergente, incluindo estratégias de tokenização, atenção multimodal e dados. Como essa área ainda está em estágios iniciais, antecipamos avanços rápidos e atualizaremos regularmente esta pesquisa. Nosso objetivo é inspirar novas investigações e fornecer uma referência valiosa para a comunidade. As referências associadas a esta pesquisa estão disponíveis no GitHub (https://github.com/AIDC-AI/Awesome-Unified-Multimodal-Models).

English

Recent years have seen remarkable progress in both multimodal understanding models and image generation models. Despite their respective successes, these two domains have evolved independently, leading to distinct architectural paradigms: While autoregressive-based architectures have dominated multimodal understanding, diffusion-based models have become the cornerstone of image generation. Recently, there has been growing interest in developing unified frameworks that integrate these tasks. The emergence of GPT-4o's new capabilities exemplifies this trend, highlighting the potential for unification. However, the architectural differences between the two domains pose significant challenges. To provide a clear overview of current efforts toward unification, we present a comprehensive survey aimed at guiding future research. First, we introduce the foundational concepts and recent advancements in multimodal understanding and text-to-image generation models. Next, we review existing unified models, categorizing them into three main architectural paradigms: diffusion-based, autoregressive-based, and hybrid approaches that fuse autoregressive and diffusion mechanisms. For each category, we analyze the structural designs and innovations introduced by related works. Additionally, we compile datasets and benchmarks tailored for unified models, offering resources for future exploration. Finally, we discuss the key challenges facing this nascent field, including tokenization strategy, cross-modal attention, and data. As this area is still in its early stages, we anticipate rapid advancements and will regularly update this survey. Our goal is to inspire further research and provide a valuable reference for the community. The references associated with this survey are available on GitHub (https://github.com/AIDC-AI/Awesome-Unified-Multimodal-Models).