InternVL-U: Демократизация унифицированных мультимодальных моделей для понимания, рассуждения, генерации и редактирования
InternVL-U: Democratizing Unified Multimodal Models for Understanding, Reasoning, Generation and Editing
March 10, 2026
Авторы: Changyao Tian, Danni Yang, Guanzhou Chen, Erfei Cui, Zhaokai Wang, Yuchen Duan, Penghao Yin, Sitao Chen, Ganlin Yang, Mingxin Liu, Zirun Zhu, Ziqian Fan, Leyao Gu, Haomin Wang, Qi Wei, Jinhui Yin, Xue Yang, Zhihang Zhong, Qi Qin, Yi Xin, Bin Fu, Yihao Liu, Jiaye Ge, Qipeng Guo, Gen Luo, Hongsheng Li, Yu Qiao, Kai Chen, Hongjie Zhang
cs.AI
Аннотация
Унифицированные мультимодальные модели (UMM), объединяющие понимание, рассуждение, генерацию и редактирование, сталкиваются с неизбежными компромиссами между сохранением глубокого семантического понимания и приобретением мощных генеративных возможностей. В данном отчете мы представляем InternVL-U — облегченную UMM с 4 миллиардами параметров, которая делает эти возможности доступными в рамках единой архитектуры. Руководствуясь принципами унифицированного контекстного моделирования и модально-специфичного модульного дизайна с разделенными визуальными представлениями, InternVL-U интегрирует передовую мультимодальную большую языковую модель (MLLM) со специализированным визуально-генеративным блоком на основе MMDiT. Для дальнейшего сокращения разрыва между эстетической генерацией и высокоуровневым интеллектом мы создали комплексный конвейер синтеза данных, ориентированный на задачи с высокой семантической плотностью, такие как рендеринг текста и научные рассуждения, в рамках рассуждающей парадигмы, использующей цепочку мыслей (CoT) для лучшего согласования абстрактных намерений пользователя с детализированными аспектами визуальной генерации. Многочисленные эксперименты демонстрируют, что InternVL-U достигает превосходного баланса между производительностью и эффективностью. Несмотря на использование всего 4 миллиардов параметров, модель стабильно превосходит унифицированные базовые модели с более чем в 3 раза большим масштабом, такие как BAGEL (14B), в различных задачах генерации и редактирования, сохраняя при этом высокие способности к мультимодальному пониманию и рассуждению.
English
Unified multimodal models (UMMs) that integrate understanding, reasoning, generation, and editing face inherent trade-offs between maintaining strong semantic comprehension and acquiring powerful generation capabilities. In this report, we present InternVL-U, a lightweight 4B-parameter UMM that democratizes these capabilities within a unified framework. Guided by the principles of unified contextual modeling and modality-specific modular design with decoupled visual representations, InternVL-U integrates a state-of-the-art Multimodal Large Language Model (MLLM) with a specialized MMDiT-based visual generation head. To further bridge the gap between aesthetic generation and high-level intelligence, we construct a comprehensive data synthesis pipeline targeting high-semantic-density tasks, such as text rendering and scientific reasoning, under a reasoning-centric paradigm that leverages Chain-of-Thought (CoT) to better align abstract user intent with fine-grained visual generation details. Extensive experiments demonstrate that InternVL-U achieves a superior performance - efficiency balance. Despite using only 4B parameters, it consistently outperforms unified baseline models with over 3x larger scales such as BAGEL (14B) on various generation and editing tasks, while retaining strong multimodal understanding and reasoning capabilities.