InternVL3: Explorando Técnicas Avançadas de Treinamento e Procedimentos em Tempo de Teste para Modelos Multimodais de Código Aberto

InternVL3: Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models

April 14, 2025

Autores: Jinguo Zhu, Weiyun Wang, Zhe Chen, Zhaoyang Liu, Shenglong Ye, Lixin Gu, Yuchen Duan, Hao Tian, Weijie Su, Jie Shao, Zhangwei Gao, Erfei Cui, Yue Cao, Yangzhou Liu, Weiye Xu, Hao Li, Jiahao Wang, Han Lv, Dengnian Chen, Songze Li, Yinan He, Tan Jiang, Jiapeng Luo, Yi Wang, Conghui He, Botian Shi, Xingcheng Zhang, Wenqi Shao, Junjun He, Yingtong Xiong, Wenwen Qu, Peng Sun, Penglong Jiao, Lijun Wu, Kaipeng Zhang, Huipeng Deng, Jiaye Ge, Kai Chen, Limin Wang, Min Dou, Lewei Lu, Xizhou Zhu, Tong Lu, Dahua Lin, Yu Qiao, Jifeng Dai, Wenhai Wang

cs.AI

Resumo

Apresentamos o InternVL3, um avanço significativo na série InternVL que apresenta um paradigma nativo de pré-treinamento multimodal. Em vez de adaptar um modelo de linguagem grande (LLM) exclusivamente textual para um modelo de linguagem grande multimodal (MLLM) que suporta entradas visuais, o InternVL3 adquire conjuntamente capacidades multimodais e linguísticas a partir de dados multimodais diversos e corpora de texto puro durante uma única etapa de pré-treinamento. Esse paradigma unificado de treinamento aborda efetivamente as complexidades e desafios de alinhamento comumente encontrados nos pipelines convencionais de treinamento pós-hoc para MLLMs. Para melhorar ainda mais o desempenho e a escalabilidade, o InternVL3 incorpora codificação de posição visual variável (V2PE) para suportar contextos multimodais estendidos, emprega técnicas avançadas de pós-treinamento, como ajuste fino supervisionado (SFT) e otimização de preferências mistas (MPO), e adota estratégias de escalonamento em tempo de teste juntamente com uma infraestrutura de treinamento otimizada. Avaliações empíricas extensivas demonstram que o InternVL3 oferece desempenho superior em uma ampla gama de tarefas multimodais. Em particular, o InternVL3-78B alcança uma pontuação de 72,2 no benchmark MMMU, estabelecendo um novo estado da arte entre os MLLMs de código aberto. Suas capacidades permanecem altamente competitivas com os principais modelos proprietários, incluindo ChatGPT-4o, Claude 3.5 Sonnet e Gemini 2.5 Pro, ao mesmo tempo em que mantém uma forte proficiência em linguagem pura. Em busca dos princípios da ciência aberta, disponibilizaremos publicamente tanto os dados de treinamento quanto os pesos do modelo para promover pesquisas e desenvolvimentos futuros em MLLMs de próxima geração.

English

We introduce InternVL3, a significant advancement in the InternVL series featuring a native multimodal pre-training paradigm. Rather than adapting a text-only large language model (LLM) into a multimodal large language model (MLLM) that supports visual inputs, InternVL3 jointly acquires multimodal and linguistic capabilities from both diverse multimodal data and pure-text corpora during a single pre-training stage. This unified training paradigm effectively addresses the complexities and alignment challenges commonly encountered in conventional post-hoc training pipelines for MLLMs. To further improve performance and scalability, InternVL3 incorporates variable visual position encoding (V2PE) to support extended multimodal contexts, employs advanced post-training techniques such as supervised fine-tuning (SFT) and mixed preference optimization (MPO), and adopts test-time scaling strategies alongside an optimized training infrastructure. Extensive empirical evaluations demonstrate that InternVL3 delivers superior performance across a wide range of multi-modal tasks. In particular, InternVL3-78B achieves a score of 72.2 on the MMMU benchmark, setting a new state-of-the-art among open-source MLLMs. Its capabilities remain highly competitive with leading proprietary models, including ChatGPT-4o, Claude 3.5 Sonnet, and Gemini 2.5 Pro, while also maintaining strong pure-language proficiency. In pursuit of open-science principles, we will publicly release both the training data and model weights to foster further research and development in next-generation MLLMs.