Erweiterung der Leistungsgrenzen von Open-Source Multimodal-Modellen durch Modell-, Daten- und Skalierung zur Testzeit

Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Scaling

December 6, 2024

Autoren: Zhe Chen, Weiyun Wang, Yue Cao, Yangzhou Liu, Zhangwei Gao, Erfei Cui, Jinguo Zhu, Shenglong Ye, Hao Tian, Zhaoyang Liu, Lixin Gu, Xuehui Wang, Qingyun Li, Yimin Ren, Zixuan Chen, Jiapeng Luo, Jiahao Wang, Tan Jiang, Bo Wang, Conghui He, Botian Shi, Xingcheng Zhang, Han Lv, Yi Wang, Wenqi Shao, Pei Chu, Zhongying Tu, Tong He, Zhiyong Wu, Huipeng Deng, Jiaye Ge, Kai Chen, Min Dou, Lewei Lu, Xizhou Zhu, Tong Lu, Dahua Lin, Yu Qiao, Jifeng Dai, Wenhai Wang

cs.AI

Zusammenfassung

Wir stellen InternVL 2.5 vor, eine fortschrittliche multimodale große Sprachmodellserie (MLLM), die auf InternVL 2.0 aufbaut und dessen Kernmodellarchitektur beibehält, während sie signifikante Verbesserungen in Trainings- und Teststrategien sowie Datenqualität einführt. In dieser Arbeit gehen wir auf die Beziehung zwischen Modellskalierung und Leistung ein, indem wir systematisch die Leistungstrends in Vision Encodern, Sprachmodellen, Datensatzgrößen und Testzeitkonfigurationen untersuchen. Durch umfangreiche Evaluationen auf einer Vielzahl von Benchmarks, einschließlich multidisziplinärem Denken, Dokumentenverständnis, Multi-Image-/Videoverständnis, Verständnis der realen Welt, multimodaler Halluzinationserkennung, visueller Verankerung, mehrsprachigen Fähigkeiten und reiner Sprachverarbeitung, zeigt InternVL 2.5 eine wettbewerbsfähige Leistung und konkurriert mit führenden kommerziellen Modellen wie GPT-4o und Claude-3.5-Sonnet. Beachtenswert ist, dass unser Modell das erste Open-Source MLLM ist, das die 70%-Marke beim MMMU-Benchmark überschreitet, eine Verbesserung um 3,7 Punkte durch Chain-of-Thought (CoT)-Denken erzielt und ein starkes Potenzial für die Skalierung zur Testzeit zeigt. Wir hoffen, dass dieses Modell zur Open-Source-Community beiträgt, indem es neue Standards für die Entwicklung und Anwendung multimodaler KI-Systeme setzt. HuggingFace-Demo siehe https://huggingface.co/spaces/OpenGVLab/InternVL

English

We introduce InternVL 2.5, an advanced multimodal large language model (MLLM) series that builds upon InternVL 2.0, maintaining its core model architecture while introducing significant enhancements in training and testing strategies as well as data quality. In this work, we delve into the relationship between model scaling and performance, systematically exploring the performance trends in vision encoders, language models, dataset sizes, and test-time configurations. Through extensive evaluations on a wide range of benchmarks, including multi-discipline reasoning, document understanding, multi-image / video understanding, real-world comprehension, multimodal hallucination detection, visual grounding, multilingual capabilities, and pure language processing, InternVL 2.5 exhibits competitive performance, rivaling leading commercial models such as GPT-4o and Claude-3.5-Sonnet. Notably, our model is the first open-source MLLMs to surpass 70% on the MMMU benchmark, achieving a 3.7-point improvement through Chain-of-Thought (CoT) reasoning and showcasing strong potential for test-time scaling. We hope this model contributes to the open-source community by setting new standards for developing and applying multimodal AI systems. HuggingFace demo see https://huggingface.co/spaces/OpenGVLab/InternVL