CLBench-V: グラウンディングから知識獲得までのマルチモーダルコンテクスト学習の評価

要旨

現実世界のタスクでは、モデルが事前学習された知識のみに頼るのではなく、タスク固有のコンテキストから学習することが求められることが多い。近年の研究ではこの能力がコンテキスト学習として注目されているが、既存の評価は主にテキストコンテキストに焦点を当てている。しかし、多くの実用的な設定では、学習すべきコンテキストはマルチモーダルである。科学的研究結果は図表で伝えられ、財務指標は変換されたレポートに散在し、空間的な判断は地図、シーン、ウェブページに依存する。我々は、マルチモーダルコンテキスト学習のベンチマークであるCLBench-Vを紹介する。これは、コンテキストの利用がどこで失敗するかを特定する難しさに対処するため、タスクを「コンテキストグラウンディング」「新情報の適用」「新知識の学習」の3次元で整理している。CLBench-Vは、既存の公開ベンチマークを変換したものと、科学、金融、長文書理解、空間推論、ウェブベースの視覚的質問応答などのドメインをカバーする新たに構築したデータセットを組み合わせている。ドメイン固有のコンテキスト学習タスクを構築するコストを削減するため、新たに構築したデータセットに対して自動構築およびフィルタリング手順をさらに用いている。3,443のインスタンスと6つの最近のマルチモーダルモデルにおいて、最高の総合スコアはわずか0.2847であり、マルチモーダルコンテキスト学習がまだ飽和状態には程遠いことを示している。さらに、InternVL3.5-30B-A3Bはコンテキストグラウンディングと新知識の学習において最も優れた性能を示し、Qwen3.5-Plusは新情報の適用において最も優れた性能を示した。さらに、評価者の信頼性、コンテキスト長、画像数、代表的な失敗事例について分析する。コードは https://github.com/IamLihua/CLBench-V で入手可能である。

English

Real-world tasks often require models to learn from task-specific context rather than relying only on pre-trained knowledge. While recent work has highlighted this capability as context learning, existing evaluations mainly focus on textual contexts. In many practical settings, however, the context to be learned from is multimodal: scientific findings are conveyed through figures and tables, financial indicators are scattered across converted reports, and spatial decisions depend on maps, scenes, or web pages. We introduce CLBench-V, a benchmark for multimodal context learning that addresses the difficulty of localizing where context use breaks down by organizing tasks around three dimensions: context grounding, new information application, and new knowledge learning. CLBench-V combines converted public benchmarks with newly constructed datasets spanning domains such as science, finance, long-document understanding, spatial reasoning, and web-based visual question answering. To reduce the cost of constructing domain-specific context-learning tasks, we further use automated construction and filtering procedures for our newly built datasets. Across 3,443 instances and six recent multimodal models, the best overall score is only 0.2847, indicating that multimodal context learning remains far from saturated. Moreover, InternVL3.5-30B-A3B performs best on context grounding and new knowledge learning, while Qwen3.5-Plus performs best on new information application. We further analyze judge reliability, context length, image count, and representative failure cases. Code is available at https://github.com/IamLihua/CLBench-V.