InternVL-U: Het Democratiseren van Verenigde Multimodale Modellen voor Begrip, Redeneren, Genereren en Bewerken
InternVL-U: Democratizing Unified Multimodal Models for Understanding, Reasoning, Generation and Editing
March 10, 2026
Auteurs: Changyao Tian, Danni Yang, Guanzhou Chen, Erfei Cui, Zhaokai Wang, Yuchen Duan, Penghao Yin, Sitao Chen, Ganlin Yang, Mingxin Liu, Zirun Zhu, Ziqian Fan, Leyao Gu, Haomin Wang, Qi Wei, Jinhui Yin, Xue Yang, Zhihang Zhong, Qi Qin, Yi Xin, Bin Fu, Yihao Liu, Jiaye Ge, Qipeng Guo, Gen Luo, Hongsheng Li, Yu Qiao, Kai Chen, Hongjie Zhang
cs.AI
Samenvatting
Unified multimodale modellen (UMM's) die begrip, redeneren, genereren en bewerken integreren, worden geconfronteerd met inherente afwegingen tussen het behouden van een sterk semantisch begrip en het verwerven van krachtige generatiecapaciteiten. In dit rapport presenteren we InternVL-U, een lichtgewicht UMM met 4B parameters, die deze mogelijkheden democratiseert binnen een uniform raamwerk. Geleid door de principes van uniforme contextuele modellering en modalitiespecifiek modulair ontwerp met ontkoppelde visuele representaties, integreert InternVL-U een state-of-the-art Multimodaal Taalmodel (MLLM) met een gespecialiseerde visuele generatiekop op basis van MMDiT. Om de kloof tussen esthetische generatie en hoogwaardige intelligentie verder te overbruggen, construeren we een uitgebreide pijplijn voor datasynthese die zich richt op taken met een hoge semantische dichtheid, zoals tekstweergave en wetenschappelijk redeneren, binnen een redeneringsgericht paradigma dat gebruikmaakt van Chain-of-Thought (CoT) om abstracte gebruikersintenties beter af te stemmen op fijnmazige visuele generatiedetails. Uitgebreide experimenten tonen aan dat InternVL-U een superieure balans tussen prestaties en efficiëntie bereikt. Ondanks het gebruik van slechts 4B parameters, presteert het consistent beter dan uniforme basislijnmodellen met meer dan 3x grotere schaal, zoals BAGEL (14B), bij diverse generatie- en bewerkingstaken, terwijl het sterke multimodale begrips- en redeneercapaciteiten behoudt.
English
Unified multimodal models (UMMs) that integrate understanding, reasoning, generation, and editing face inherent trade-offs between maintaining strong semantic comprehension and acquiring powerful generation capabilities. In this report, we present InternVL-U, a lightweight 4B-parameter UMM that democratizes these capabilities within a unified framework. Guided by the principles of unified contextual modeling and modality-specific modular design with decoupled visual representations, InternVL-U integrates a state-of-the-art Multimodal Large Language Model (MLLM) with a specialized MMDiT-based visual generation head. To further bridge the gap between aesthetic generation and high-level intelligence, we construct a comprehensive data synthesis pipeline targeting high-semantic-density tasks, such as text rendering and scientific reasoning, under a reasoning-centric paradigm that leverages Chain-of-Thought (CoT) to better align abstract user intent with fine-grained visual generation details. Extensive experiments demonstrate that InternVL-U achieves a superior performance - efficiency balance. Despite using only 4B parameters, it consistently outperforms unified baseline models with over 3x larger scales such as BAGEL (14B) on various generation and editing tasks, while retaining strong multimodal understanding and reasoning capabilities.