視覚言語モデルは内部世界モデルを持っているのか？原子論的評価に向けて

Do Vision-Language Models Have Internal World Models? Towards an Atomic Evaluation

June 27, 2025

著者: Qiyue Gao, Xinyu Pi, Kevin Liu, Junrong Chen, Ruolan Yang, Xinqi Huang, Xinyu Fang, Lu Sun, Gautham Kishore, Bo Ai, Stone Tao, Mengyang Liu, Jiaxi Yang, Chao-Jung Lai, Chuanyang Jin, Jiannan Xiang, Benhao Huang, Zeming Chen, David Danks, Hao Su, Tianmin Shu, Ziqiao Ma, Lianhui Qin, Zhiting Hu

cs.AI

要旨

内部世界モデル（WMs）は、エージェントが世界の状態を理解し、遷移を予測することを可能にし、高度な推論の基盤として機能します。最近の大規模な視覚言語モデル（VLMs）、例えばOpenAIのo3、GPT-4o、Geminiなどは、汎用のWMsとしての潜在能力を示しています。最新の研究では、視覚理解などの特定の能力における限界が評価され示されていますが、VLMsの基本的なWM能力を体系的に評価した研究はまだありません。比較心理学と認知科学に基づいて、我々は視覚、空間、時間、数量、運動の「知覚」と、メカニズムシミュレーション、推移的推論、合成的推論の「予測」を評価する二段階のフレームワークを提案し、VLMsをWMsとして原子レベルで評価します。このフレームワークに基づいて、我々はWM-ABenchを導入します。これは、6つの多様なシミュレーション環境における23の細かい評価次元からなる大規模なベンチマークで、制御された反事実シミュレーションを含みます。15の最新の商用およびオープンソースVLMsを用いた660の実験を通じて、これらのモデルが基本的な世界モデリング能力において顕著な限界を示すことが明らかになりました。例えば、ほぼ全てのモデルが運動軌道を区別する際にランダムに近い精度しか示しません。さらに、それらは分離された理解を欠いており、例えば、一部のモデルは青い物体が緑の物体よりも速く動くと信じる傾向があります。より豊富な結果と分析は、VLMsと人間レベルの世界モデリングとの間に大きなギャップがあることを明らかにしています。

English

Internal world models (WMs) enable agents to understand the world's state and predict transitions, serving as the basis for advanced deliberative reasoning. Recent large Vision-Language Models (VLMs), such as OpenAI o3, GPT-4o and Gemini, exhibit potential as general-purpose WMs. While the latest studies have evaluated and shown limitations in specific capabilities such as visual understanding, a systematic evaluation of VLMs' fundamental WM abilities remains absent. Drawing on comparative psychology and cognitive science, we propose a two-stage framework that assesses Perception (visual, spatial, temporal, quantitative, and motion) and Prediction (mechanistic simulation, transitive inference, compositional inference) to provide an atomic evaluation of VLMs as WMs. Guided by this framework, we introduce WM-ABench, a large-scale benchmark comprising 23 fine-grained evaluation dimensions across 6 diverse simulated environments with controlled counterfactual simulations. Through 660 experiments on 15 latest commercial and open-source VLMs, we find that these models exhibit striking limitations in basic world modeling abilities. For instance, almost all models perform at near-random accuracy when distinguishing motion trajectories. Additionally, they lack disentangled understanding -- e.g., some models tend to believe blue objects move faster than green ones. More rich results and analyses reveal significant gaps between VLMs and human-level world modeling.