InternVL-U: Democratizzazione dei Modelli Multimodali Unificati per Comprensione, Ragionamento, Generazione e Modifica
InternVL-U: Democratizing Unified Multimodal Models for Understanding, Reasoning, Generation and Editing
March 10, 2026
Autori: Changyao Tian, Danni Yang, Guanzhou Chen, Erfei Cui, Zhaokai Wang, Yuchen Duan, Penghao Yin, Sitao Chen, Ganlin Yang, Mingxin Liu, Zirun Zhu, Ziqian Fan, Leyao Gu, Haomin Wang, Qi Wei, Jinhui Yin, Xue Yang, Zhihang Zhong, Qi Qin, Yi Xin, Bin Fu, Yihao Liu, Jiaye Ge, Qipeng Guo, Gen Luo, Hongsheng Li, Yu Qiao, Kai Chen, Hongjie Zhang
cs.AI
Abstract
I modelli multimodali unificati (UMM) che integrano comprensione, ragionamento, generazione e modifica affrontano compromessi intrinseci tra il mantenimento di una forte comprensione semantica e l'acquisizione di potenti capacità generative. In questo rapporto presentiamo InternVL-U, un UMM leggero da 4 miliardi di parametri che democratizza queste capacità all'interno di un framework unificato. Guidato dai principi della modellizzazione contestuale unificata e del design modulare specifico per modalità con rappresentazioni visive disaccoppiate, InternVL-U integra un modello linguistico multimodale (MLLM) all'avanguardia con una testa di generazione visiva specializzata basata su MMDiT. Per colmare ulteriormente il divario tra generazione estetica e intelligenza di alto livello, costruiamo una pipeline completa di sintesi dei dati mirata a compiti ad alta densità semantica, come il rendering del testo e il ragionamento scientifico, sotto un paradigma incentrato sul ragionamento che sfrutta la Catena del Pensiero (CoT) per allineare meglio l'intento astratto dell'utente con i dettagli di generazione visiva granulari. Esperimenti estesi dimostrano che InternVL-U raggiunge un equilibrio superiore tra prestazioni ed efficienza. Nonostante utilizzi solo 4 miliardi di parametri, supera costantemente i modelli di base unificati con dimensioni oltre 3 volte maggiori, come BAGEL (14B), in varie attività di generazione e modifica, mantenendo al contempo forti capacità di comprensione e ragionamento multimodali.
English
Unified multimodal models (UMMs) that integrate understanding, reasoning, generation, and editing face inherent trade-offs between maintaining strong semantic comprehension and acquiring powerful generation capabilities. In this report, we present InternVL-U, a lightweight 4B-parameter UMM that democratizes these capabilities within a unified framework. Guided by the principles of unified contextual modeling and modality-specific modular design with decoupled visual representations, InternVL-U integrates a state-of-the-art Multimodal Large Language Model (MLLM) with a specialized MMDiT-based visual generation head. To further bridge the gap between aesthetic generation and high-level intelligence, we construct a comprehensive data synthesis pipeline targeting high-semantic-density tasks, such as text rendering and scientific reasoning, under a reasoning-centric paradigm that leverages Chain-of-Thought (CoT) to better align abstract user intent with fine-grained visual generation details. Extensive experiments demonstrate that InternVL-U achieves a superior performance - efficiency balance. Despite using only 4B parameters, it consistently outperforms unified baseline models with over 3x larger scales such as BAGEL (14B) on various generation and editing tasks, while retaining strong multimodal understanding and reasoning capabilities.