Modelli Unificati per la Comprensione e la Generazione Multimodale: Progressi, Sfide e Opportunità

Unified Multimodal Understanding and Generation Models: Advances, Challenges, and Opportunities

May 5, 2025

Autori: Xinjie Zhang, Jintao Guo, Shanshan Zhao, Minghao Fu, Lunhao Duan, Guo-Hua Wang, Qing-Guo Chen, Zhao Xu, Weihua Luo, Kaifu Zhang

cs.AI

Abstract

Negli ultimi anni si è assistito a progressi significativi sia nei modelli di comprensione multimodale che nei modelli di generazione di immagini. Nonostante i rispettivi successi, questi due domini si sono evoluti in modo indipendente, portando a paradigmi architetturali distinti: mentre le architetture basate su approcci autoregressivi hanno dominato la comprensione multimodale, i modelli basati su diffusion sono diventati il pilastro della generazione di immagini. Recentemente, è cresciuto l'interesse nello sviluppo di framework unificati che integrano queste attività. L'emergere delle nuove capacità di GPT-4o esemplifica questa tendenza, evidenziando il potenziale per l'unificazione. Tuttavia, le differenze architetturali tra i due domini pongono sfide significative. Per fornire una panoramica chiara degli sforzi attuali verso l'unificazione, presentiamo un'analisi completa mirata a guidare la ricerca futura. In primo luogo, introduciamo i concetti fondamentali e i recenti progressi nei modelli di comprensione multimodale e di generazione di immagini da testo. Successivamente, esaminiamo i modelli unificati esistenti, classificandoli in tre principali paradigmi architetturali: approcci basati su diffusion, approcci autoregressivi e approcci ibridi che fondono meccanismi autoregressivi e diffusion. Per ciascuna categoria, analizziamo i design strutturali e le innovazioni introdotte dai lavori correlati. Inoltre, raccogliamo dataset e benchmark specifici per modelli unificati, offrendo risorse per future esplorazioni. Infine, discutiamo le principali sfide che questo campo nascente deve affrontare, tra cui la strategia di tokenizzazione, l'attenzione cross-modale e i dati. Poiché quest'area è ancora nelle sue fasi iniziali, ci aspettiamo rapidi progressi e aggiorneremo regolarmente questa analisi. Il nostro obiettivo è ispirare ulteriori ricerche e fornire un riferimento prezioso per la comunità. I riferimenti associati a questa analisi sono disponibili su GitHub (https://github.com/AIDC-AI/Awesome-Unified-Multimodal-Models).

English

Recent years have seen remarkable progress in both multimodal understanding models and image generation models. Despite their respective successes, these two domains have evolved independently, leading to distinct architectural paradigms: While autoregressive-based architectures have dominated multimodal understanding, diffusion-based models have become the cornerstone of image generation. Recently, there has been growing interest in developing unified frameworks that integrate these tasks. The emergence of GPT-4o's new capabilities exemplifies this trend, highlighting the potential for unification. However, the architectural differences between the two domains pose significant challenges. To provide a clear overview of current efforts toward unification, we present a comprehensive survey aimed at guiding future research. First, we introduce the foundational concepts and recent advancements in multimodal understanding and text-to-image generation models. Next, we review existing unified models, categorizing them into three main architectural paradigms: diffusion-based, autoregressive-based, and hybrid approaches that fuse autoregressive and diffusion mechanisms. For each category, we analyze the structural designs and innovations introduced by related works. Additionally, we compile datasets and benchmarks tailored for unified models, offering resources for future exploration. Finally, we discuss the key challenges facing this nascent field, including tokenization strategy, cross-modal attention, and data. As this area is still in its early stages, we anticipate rapid advancements and will regularly update this survey. Our goal is to inspire further research and provide a valuable reference for the community. The references associated with this survey are available on GitHub (https://github.com/AIDC-AI/Awesome-Unified-Multimodal-Models).