InternVL3: Erforschung fortgeschrittener Trainings- und Testzeitmethoden für Open-Source-Multimodale Modelle

InternVL3: Exploring Advanced Training and Test-Time Recipes for Open-Source Multimodal Models

April 14, 2025

Autoren: Jinguo Zhu, Weiyun Wang, Zhe Chen, Zhaoyang Liu, Shenglong Ye, Lixin Gu, Yuchen Duan, Hao Tian, Weijie Su, Jie Shao, Zhangwei Gao, Erfei Cui, Yue Cao, Yangzhou Liu, Weiye Xu, Hao Li, Jiahao Wang, Han Lv, Dengnian Chen, Songze Li, Yinan He, Tan Jiang, Jiapeng Luo, Yi Wang, Conghui He, Botian Shi, Xingcheng Zhang, Wenqi Shao, Junjun He, Yingtong Xiong, Wenwen Qu, Peng Sun, Penglong Jiao, Lijun Wu, Kaipeng Zhang, Huipeng Deng, Jiaye Ge, Kai Chen, Limin Wang, Min Dou, Lewei Lu, Xizhou Zhu, Tong Lu, Dahua Lin, Yu Qiao, Jifeng Dai, Wenhai Wang

cs.AI

Zusammenfassung

Wir stellen InternVL3 vor, einen bedeutenden Fortschritt in der InternVL-Serie, der ein natives multimodales Vortrainingsparadigma bietet. Anstatt ein textbasiertes großes Sprachmodell (LLM) in ein multimodales großes Sprachmodell (MLLM) zu adaptieren, das visuelle Eingaben unterstützt, erwirbt InternVL3 multimodale und linguistische Fähigkeiten gemeinsam aus diversen multimodalen Daten und reinen Textkorpora während einer einzigen Vortrainingsphase. Dieses einheitliche Trainingsparadigma adressiert effektiv die Komplexitäten und Ausrichtungsprobleme, die häufig in konventionellen nachträglichen Trainingspipelines für MLLMs auftreten. Um die Leistung und Skalierbarkeit weiter zu verbessern, integriert InternVL3 eine variable visuelle Positionskodierung (V2PE) zur Unterstützung erweiterter multimodaler Kontexte, verwendet fortgeschrittene Nachtrainings-Techniken wie überwachte Feinabstimmung (SFT) und gemischte Präferenzoptimierung (MPO) und setzt Testzeit-Skalierungsstrategien sowie eine optimierte Trainingsinfrastruktur ein. Umfangreiche empirische Auswertungen zeigen, dass InternVL3 überlegene Leistung in einer Vielzahl von multimodalen Aufgaben erzielt. Insbesondere erreicht InternVL3-78B eine Punktzahl von 72,2 auf dem MMMU-Benchmark und setzt damit einen neuen Maßstab unter Open-Source-MLLMs. Seine Fähigkeiten bleiben hochgradig wettbewerbsfähig mit führenden proprietären Modellen, einschließlich ChatGPT-4o, Claude 3.5 Sonnet und Gemini 2.5 Pro, während es gleichzeitig eine starke rein sprachliche Kompetenz beibehält. Im Einklang mit den Prinzipien der offenen Wissenschaft werden wir sowohl die Trainingsdaten als auch die Modellgewichte öffentlich freigeben, um die weitere Forschung und Entwicklung in der nächsten Generation von MLLMs zu fördern.

English

We introduce InternVL3, a significant advancement in the InternVL series featuring a native multimodal pre-training paradigm. Rather than adapting a text-only large language model (LLM) into a multimodal large language model (MLLM) that supports visual inputs, InternVL3 jointly acquires multimodal and linguistic capabilities from both diverse multimodal data and pure-text corpora during a single pre-training stage. This unified training paradigm effectively addresses the complexities and alignment challenges commonly encountered in conventional post-hoc training pipelines for MLLMs. To further improve performance and scalability, InternVL3 incorporates variable visual position encoding (V2PE) to support extended multimodal contexts, employs advanced post-training techniques such as supervised fine-tuning (SFT) and mixed preference optimization (MPO), and adopts test-time scaling strategies alongside an optimized training infrastructure. Extensive empirical evaluations demonstrate that InternVL3 delivers superior performance across a wide range of multi-modal tasks. In particular, InternVL3-78B achieves a score of 72.2 on the MMMU benchmark, setting a new state-of-the-art among open-source MLLMs. Its capabilities remain highly competitive with leading proprietary models, including ChatGPT-4o, Claude 3.5 Sonnet, and Gemini 2.5 Pro, while also maintaining strong pure-language proficiency. In pursuit of open-science principles, we will publicly release both the training data and model weights to foster further research and development in next-generation MLLMs.