**InternVL-U: Democratizando Modelos Multimodais Unificados para Compreensão, Raciocínio, Geração e Edição**
InternVL-U: Democratizing Unified Multimodal Models for Understanding, Reasoning, Generation and Editing
March 10, 2026
Autores: Changyao Tian, Danni Yang, Guanzhou Chen, Erfei Cui, Zhaokai Wang, Yuchen Duan, Penghao Yin, Sitao Chen, Ganlin Yang, Mingxin Liu, Zirun Zhu, Ziqian Fan, Leyao Gu, Haomin Wang, Qi Wei, Jinhui Yin, Xue Yang, Zhihang Zhong, Qi Qin, Yi Xin, Bin Fu, Yihao Liu, Jiaye Ge, Qipeng Guo, Gen Luo, Hongsheng Li, Yu Qiao, Kai Chen, Hongjie Zhang
cs.AI
Resumo
Os modelos multimodais unificados (UMMs), que integram compreensão, raciocínio, geração e edição, enfrentam trade-offs inerentes entre manter uma forte compreensão semântica e adquirir capacidades de geração poderosas. Neste relatório, apresentamos o InternVL-U, um UMM leve com 4B de parâmetros que democratiza essas capacidades dentro de uma estrutura unificada. Guiado pelos princípios de modelagem contextual unificada e design modular específico por modalidade com representações visuais desacopladas, o InternVL-U integra um Modelo de Linguagem Grande Multimodal (MLLM) de última geração com um cabeçalho de geração visual especializado baseado em MMDiT. Para reduzir ainda mais a lacuna entre a geração estética e a inteligência de alto nível, construímos um pipeline abrangente de síntese de dados direcionado a tarefas de alta densidade semântica, como renderização de texto e raciocínio científico, sob um paradigma centrado no raciocínio que aproveita a Cadeia de Pensamento (CoT) para melhor alinhar a intenção abstrata do usuário com os detalhes granulares da geração visual. Experimentos extensivos demonstram que o InternVL-U alcança um equilíbrio superior entre desempenho e eficiência. Apesar de usar apenas 4B de parâmetros, ele supera consistentemente os modelos de base unificados com escalas mais de 3 vezes maiores, como o BAGEL (14B), em várias tarefas de geração e edição, mantendo fortes capacidades de compreensão e raciocínio multimodal.
English
Unified multimodal models (UMMs) that integrate understanding, reasoning, generation, and editing face inherent trade-offs between maintaining strong semantic comprehension and acquiring powerful generation capabilities. In this report, we present InternVL-U, a lightweight 4B-parameter UMM that democratizes these capabilities within a unified framework. Guided by the principles of unified contextual modeling and modality-specific modular design with decoupled visual representations, InternVL-U integrates a state-of-the-art Multimodal Large Language Model (MLLM) with a specialized MMDiT-based visual generation head. To further bridge the gap between aesthetic generation and high-level intelligence, we construct a comprehensive data synthesis pipeline targeting high-semantic-density tasks, such as text rendering and scientific reasoning, under a reasoning-centric paradigm that leverages Chain-of-Thought (CoT) to better align abstract user intent with fine-grained visual generation details. Extensive experiments demonstrate that InternVL-U achieves a superior performance - efficiency balance. Despite using only 4B parameters, it consistently outperforms unified baseline models with over 3x larger scales such as BAGEL (14B) on various generation and editing tasks, while retaining strong multimodal understanding and reasoning capabilities.