Élargir les limites de performance des modèles multimodaux open-source avec l'échelle du modèle, des données et du temps de test.

Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Scaling

December 6, 2024

Auteurs: Zhe Chen, Weiyun Wang, Yue Cao, Yangzhou Liu, Zhangwei Gao, Erfei Cui, Jinguo Zhu, Shenglong Ye, Hao Tian, Zhaoyang Liu, Lixin Gu, Xuehui Wang, Qingyun Li, Yimin Ren, Zixuan Chen, Jiapeng Luo, Jiahao Wang, Tan Jiang, Bo Wang, Conghui He, Botian Shi, Xingcheng Zhang, Han Lv, Yi Wang, Wenqi Shao, Pei Chu, Zhongying Tu, Tong He, Zhiyong Wu, Huipeng Deng, Jiaye Ge, Kai Chen, Min Dou, Lewei Lu, Xizhou Zhu, Tong Lu, Dahua Lin, Yu Qiao, Jifeng Dai, Wenhai Wang

cs.AI

Résumé

Nous présentons InternVL 2.5, une série avancée de modèles de langage multimodal large (MLLM) qui s'appuie sur InternVL 2.0, en conservant son architecture de modèle de base tout en introduisant des améliorations significatives dans les stratégies d'entraînement et de test ainsi que dans la qualité des données. Dans ce travail, nous explorons la relation entre l'agrandissement du modèle et ses performances, en explorant systématiquement les tendances de performance dans les encodeurs de vision, les modèles de langage, les tailles de jeu de données et les configurations de test. À travers des évaluations approfondies sur un large éventail de benchmarks, incluant le raisonnement multidisciplinaire, la compréhension de documents, la compréhension multi-images/vidéo, la compréhension du monde réel, la détection d'hallucinations multimodales, l'ancrage visuel, les capacités multilingues, et le traitement de langage pur, InternVL 2.5 affiche des performances compétitives, rivalisant avec des modèles commerciaux de premier plan tels que GPT-4o et Claude-3.5-Sonnet. Notamment, notre modèle est le premier MLLM open-source à dépasser les 70% sur le benchmark MMMU, réalisant une amélioration de 3,7 points grâce au raisonnement Chain-of-Thought (CoT) et démontrant un fort potentiel pour l'agrandissement au moment du test. Nous espérons que ce modèle contribuera à la communauté open-source en établissant de nouvelles normes pour le développement et l'application de systèmes d'IA multimodaux. Pour une démonstration HuggingFace, voir https://huggingface.co/spaces/OpenGVLab/InternVL

English

We introduce InternVL 2.5, an advanced multimodal large language model (MLLM) series that builds upon InternVL 2.0, maintaining its core model architecture while introducing significant enhancements in training and testing strategies as well as data quality. In this work, we delve into the relationship between model scaling and performance, systematically exploring the performance trends in vision encoders, language models, dataset sizes, and test-time configurations. Through extensive evaluations on a wide range of benchmarks, including multi-discipline reasoning, document understanding, multi-image / video understanding, real-world comprehension, multimodal hallucination detection, visual grounding, multilingual capabilities, and pure language processing, InternVL 2.5 exhibits competitive performance, rivaling leading commercial models such as GPT-4o and Claude-3.5-Sonnet. Notably, our model is the first open-source MLLMs to surpass 70% on the MMMU benchmark, achieving a 3.7-point improvement through Chain-of-Thought (CoT) reasoning and showcasing strong potential for test-time scaling. We hope this model contributes to the open-source community by setting new standards for developing and applying multimodal AI systems. HuggingFace demo see https://huggingface.co/spaces/OpenGVLab/InternVL