ING-VP: MLLMはまだ簡単なビジョンベースのゲームをプレイすることができません。

ING-VP: MLLMs cannot Play Easy Vision-based Games Yet

October 9, 2024

著者: Haoran Zhang, Hangyu Guo, Shuyue Guo, Meng Cao, Wenhao Huang, Jiaheng Liu, Ge Zhang

cs.AI

要旨

マルチモーダル大規模言語モデル（MLLMs）がさまざまなタスクでますます競争力のあるパフォーマンスを示し続ける中、これらの最先端モデルを評価するためにより複雑で包括的なベンチマークが開発されてきました。これらのベンチマークは知覚、推論、計画などの中核能力に新たな課題を導入します。しかしながら、既存のマルチモーダルベンチマークは、画像内の空間関係に基づく多段階プランニングの集中的な評価を提供する点で不足しています。このギャップを埋めるために、私たちは、MLLMsの空間想像力と多段階推論能力を評価するために特別に設計された最初のインタラクティブゲームベースのビジョンプランニングベンチマークであるING-VPを提案します。ING-VPには6つの異なるゲームがあり、それぞれが6つのユニークな構成を持つ300レベルが含まれています。1つのモデルが6万ラウンド以上のインタラクションに参加します。このベンチマークフレームワークには、画像テキスト対テキストのみ入力、単一段階対多段階推論、および履歴あり対履歴なしの条件など、複数の比較設定が可能であり、モデルの能力に関する貴重な洞察を提供します。私たちは、最先端のMLLMsを数多く評価しましたが、最も高いパフォーマンスを発揮したモデルであるClaude-3.5 Sonnetでも平均精度はわずか3.37％であり、予想される基準を大きく下回っています。この研究は、複雑な空間推論と計画能力の向上を促進するための専門的な評価フレームワークを提供することを目的としています。コードはhttps://github.com/Thisisus7/ING-VP.gitで公開されています。

English

As multimodal large language models (MLLMs) continue to demonstrate increasingly competitive performance across a broad spectrum of tasks, more intricate and comprehensive benchmarks have been developed to assess these cutting-edge models. These benchmarks introduce new challenges to core capabilities such as perception, reasoning, and planning. However, existing multimodal benchmarks fall short in providing a focused evaluation of multi-step planning based on spatial relationships in images. To bridge this gap, we present ING-VP, the first INteractive Game-based Vision Planning benchmark, specifically designed to evaluate the spatial imagination and multi-step reasoning abilities of MLLMs. ING-VP features 6 distinct games, encompassing 300 levels, each with 6 unique configurations. A single model engages in over 60,000 rounds of interaction. The benchmark framework allows for multiple comparison settings, including image-text vs. text-only inputs, single-step vs. multi-step reasoning, and with-history vs. without-history conditions, offering valuable insights into the model's capabilities. We evaluated numerous state-of-the-art MLLMs, with the highest-performing model, Claude-3.5 Sonnet, achieving an average accuracy of only 3.37%, far below the anticipated standard. This work aims to provide a specialized evaluation framework to drive advancements in MLLMs' capacity for complex spatial reasoning and planning. The code is publicly available at https://github.com/Thisisus7/ING-VP.git.