InternVL-U: Demokratisierung vereinheitlichter multimodaler Modelle für Verstehen, Schlussfolgern, Erzeugen und Bearbeiten
InternVL-U: Democratizing Unified Multimodal Models for Understanding, Reasoning, Generation and Editing
March 10, 2026
Autoren: Changyao Tian, Danni Yang, Guanzhou Chen, Erfei Cui, Zhaokai Wang, Yuchen Duan, Penghao Yin, Sitao Chen, Ganlin Yang, Mingxin Liu, Zirun Zhu, Ziqian Fan, Leyao Gu, Haomin Wang, Qi Wei, Jinhui Yin, Xue Yang, Zhihang Zhong, Qi Qin, Yi Xin, Bin Fu, Yihao Liu, Jiaye Ge, Qipeng Guo, Gen Luo, Hongsheng Li, Yu Qiao, Kai Chen, Hongjie Zhang
cs.AI
Zusammenfassung
Vereinheitlichte multimodale Modelle (UMMs), die Verstehen, logisches Schließen, Generierung und Bearbeitung integrieren, stehen vor inhärenten Zielkonflikten zwischen der Aufrechterhaltung eines starken semantischen Verständnisses und dem Erwerb leistungsfähiger Generierungsfähigkeiten. In diesem Bericht stellen wir InternVL-U vor, ein leichtgewichtiges UMM mit 4B Parametern, das diese Fähigkeiten innerhalb eines vereinheitlichten Frameworks demokratisiert. Geleitet von den Prinzipien der vereinheitlichten kontextuellen Modellierung und eines modalitätsspezifischen modularen Designs mit entkoppelten visuellen Repräsentationen, integriert InternVL-U ein modernes Multimodales Großsprachmodell (MLLM) mit einem spezialisierten, auf MMDiT basierenden visuellen Generierungs-Head. Um die Lücke zwischen ästhetischer Generierung und hochrangiger Intelligenz weiter zu schließen, entwickeln wir eine umfassende Data-Synthesis-Pipeline für Aufgaben mit hoher Semantikdichte, wie Textdarstellung und wissenschaftliches Schließen, unter einem schlussfolgerungszentrierten Paradigma, das Chain-of-Thought (CoT) nutzt, um abstrakte Benutzerabsichten besser mit feingranularen visuellen Generierungsdetails abzugleichen. Umfangreiche Experimente belegen, dass InternVL-U eine überlegene Balance zwischen Leistung und Effizienz erreicht. Trotz der Verwendung von nur 4B Parametern übertrifft es konsistent vereinheitlichte Baseline-Modelle mit über 3x größerem Umfang, wie BAGEL (14B), bei verschiedenen Generierungs- und Bearbeitungsaufgaben, während es gleichzeitig starke multimodale Verstehens- und Reasoning-Fähigkeiten beibehält.
English
Unified multimodal models (UMMs) that integrate understanding, reasoning, generation, and editing face inherent trade-offs between maintaining strong semantic comprehension and acquiring powerful generation capabilities. In this report, we present InternVL-U, a lightweight 4B-parameter UMM that democratizes these capabilities within a unified framework. Guided by the principles of unified contextual modeling and modality-specific modular design with decoupled visual representations, InternVL-U integrates a state-of-the-art Multimodal Large Language Model (MLLM) with a specialized MMDiT-based visual generation head. To further bridge the gap between aesthetic generation and high-level intelligence, we construct a comprehensive data synthesis pipeline targeting high-semantic-density tasks, such as text rendering and scientific reasoning, under a reasoning-centric paradigm that leverages Chain-of-Thought (CoT) to better align abstract user intent with fine-grained visual generation details. Extensive experiments demonstrate that InternVL-U achieves a superior performance - efficiency balance. Despite using only 4B parameters, it consistently outperforms unified baseline models with over 3x larger scales such as BAGEL (14B) on various generation and editing tasks, while retaining strong multimodal understanding and reasoning capabilities.