モデル、データ、およびテスト時のスケーリングによってオープンソースのマルチモーダルモデルの性能境界を拡張する

Expanding Performance Boundaries of Open-Source Multimodal Models with Model, Data, and Test-Time Scaling

December 6, 2024

著者: Zhe Chen, Weiyun Wang, Yue Cao, Yangzhou Liu, Zhangwei Gao, Erfei Cui, Jinguo Zhu, Shenglong Ye, Hao Tian, Zhaoyang Liu, Lixin Gu, Xuehui Wang, Qingyun Li, Yimin Ren, Zixuan Chen, Jiapeng Luo, Jiahao Wang, Tan Jiang, Bo Wang, Conghui He, Botian Shi, Xingcheng Zhang, Han Lv, Yi Wang, Wenqi Shao, Pei Chu, Zhongying Tu, Tong He, Zhiyong Wu, Huipeng Deng, Jiaye Ge, Kai Chen, Min Dou, Lewei Lu, Xizhou Zhu, Tong Lu, Dahua Lin, Yu Qiao, Jifeng Dai, Wenhai Wang

cs.AI

要旨

InternVL 2.5は、InternVL 2.0を基盤としつつ、トレーニングとテスト戦略、データ品質において大幅な改良を加えた先進的なマルチモーダル大規模言語モデル（MLLM）シリーズを紹介します。本研究では、モデルのスケーリングとパフォーマンスの関係に焦点を当て、ビジョンエンコーダ、言語モデル、データセットサイズ、およびテスト時の構成におけるパフォーマンスの傾向を系統的に探究します。多様なベンチマークを対象とした包括的な評価により、多分野推論、文書理解、マルチ画像/ビデオ理解、現実世界の理解、マルチモーダル幻覚検出、ビジュアルグラウンディング、多言語能力、純粋な言語処理などの分野で、InternVL 2.5は競争力のあるパフォーマンスを発揮し、GPT-4oやClaude-3.5-Sonnetなどの主要商用モデルに匹敵します。特筆すべきは、当モデルがMMMUベンチマークで70%を超える初のオープンソースMLLMであり、Chain-of-Thought（CoT）推論による3.7ポイントの改善を達成し、テスト時のスケーリングに強い潜在能力を示しています。このモデルが、マルチモーダルAIシステムの開発と適用に新たな基準を設定することでオープンソースコミュニティに貢献することを期待しています。HuggingFaceデモはこちらをご覧ください：https://huggingface.co/spaces/OpenGVLab/InternVL

English

We introduce InternVL 2.5, an advanced multimodal large language model (MLLM) series that builds upon InternVL 2.0, maintaining its core model architecture while introducing significant enhancements in training and testing strategies as well as data quality. In this work, we delve into the relationship between model scaling and performance, systematically exploring the performance trends in vision encoders, language models, dataset sizes, and test-time configurations. Through extensive evaluations on a wide range of benchmarks, including multi-discipline reasoning, document understanding, multi-image / video understanding, real-world comprehension, multimodal hallucination detection, visual grounding, multilingual capabilities, and pure language processing, InternVL 2.5 exhibits competitive performance, rivaling leading commercial models such as GPT-4o and Claude-3.5-Sonnet. Notably, our model is the first open-source MLLMs to surpass 70% on the MMMU benchmark, achieving a 3.7-point improvement through Chain-of-Thought (CoT) reasoning and showcasing strong potential for test-time scaling. We hope this model contributes to the open-source community by setting new standards for developing and applying multimodal AI systems. HuggingFace demo see https://huggingface.co/spaces/OpenGVLab/InternVL