VisPhyWorld: コード駆動型映像再構成による物理推論の検証

要旨

マルチモーダル大規模言語モデル（MLLM）が物理力学を真に推論しているかどうかの評価は依然として課題である。既存のベンチマークの多くは、視覚質問応答（VQA）や期待違反（VoE）などの認識型プロトコルに依存しており、これらは明示的で検証可能な物理仮説を必要とせずに解答可能な場合が多い。本研究では、視覚観察から実行可能なシミュレータコードを生成させることで物理推論を評価する、実行ベースのフレームワークVisPhyWorldを提案する。実行可能なコードを生成することにより、推論された世界表現は直接検査・編集・反証が可能となる。これにより物理推論とレンダリングが分離される。このフレームワークに基づき、108の物理テンプレートから導出された209の評価シーンと、モデルが外観を再構築し物理的に妥当な運動を再現する能力を体系的に評価するプロトコルで構成されるVisPhyBenchを導入する。当該パイプラインはベンチマークにおいて97.7%の有効な再構築動画を生成する。実験結果から、最先端のMLLMは強力な意味的シーン理解を達成する一方、物理パラメータの正確な推論と一貫した物理力学のシミュレーションには課題があることが示された。

English

Evaluating whether Multimodal Large Language Models (MLLMs) genuinely reason about physical dynamics remains challenging. Most existing benchmarks rely on recognition-style protocols such as Visual Question Answering (VQA) and Violation of Expectation (VoE), which can often be answered without committing to an explicit, testable physical hypothesis. We propose VisPhyWorld, an execution-based framework that evaluates physical reasoning by requiring models to generate executable simulator code from visual observations. By producing runnable code, the inferred world representation is directly inspectable, editable, and falsifiable. This separates physical reasoning from rendering. Building on this framework, we introduce VisPhyBench, comprising 209 evaluation scenes derived from 108 physical templates and a systematic protocol that evaluates how well models reconstruct appearance and reproduce physically plausible motion. Our pipeline produces valid reconstructed videos in 97.7% on the benchmark. Experiments show that while state-of-the-art MLLMs achieve strong semantic scene understanding, they struggle to accurately infer physical parameters and to simulate consistent physical dynamics.

VisPhyWorld: コード駆動型映像再構成による物理推論の検証

VisPhyWorld: Probing Physical Reasoning via Code-Driven Video Reconstruction

要旨

Support