YoCausal：ビデオ生成は世界モデルからどれほど遠いのか？──因果性の観点から

要旨

ビデオ拡散モデル（VDM）がワールドモデルへと進化する中で、重要な問いが浮上する。それは、モデルが因果性を真に理解しているのか、それとも単に統計的な時間的パターンに過適合しているのか、という点である。既存のベンチマークの大半は合成データに依存しており、シミュレーションと実世界のギャップ（sim-to-real gap）のために実世界への一般化が制限されている。本稿では、認知科学における「予期違反（VoE: Violation of Expectation）」パラダイムに着想を得た2階層のベンチマーク「YoCausal」を提案する。実世界の動画をゼロコストで時間的に反転させ、自然な反実仮想的サンプルとして用いることで、YoCausalは任意に拡張可能な評価プロトコルを確立する。第1階層では、逆転驚愕指数（RSI: Reverse Surprise Index）を導入し、ノイズ除去損失を通じて時間の矢の知覚を定量化する。第2階層では、因果認知指数（CCI: Causality Cognition Index）を導入し、視覚言語モデル（VLM）を活用してデータセットを因果サブセットと非因果サブセットに層別化し、真の因果推論と時間的バイアスを分離する。13の最先端VDMを評価した結果、時間の矢を知覚することは因果性の理解を意味せず、人間レベルの因果認知には依然として大きなギャップが存在することが明らかになった。

English

As video diffusion models (VDMs) advance toward world models, a key question arises: do they truly understand causality, or merely overfit to statistical temporal patterns? Existing benchmarks mostly rely on synthetic data, limiting real-world generalization due to the sim-to-real gap. We present YoCausal, a two-level benchmark inspired by the Violation of Expectation (VoE) paradigm from cognitive science. By temporally reversing real-world videos at zero cost as natural counterfactual samples, YoCausal establishes an arbitrarily extensible evaluation protocol. Level 1 introduces the Reverse Surprise Index (RSI), quantifying arrow-of-time perception via denoising loss. Level 2 introduces the Causality Cognition Index (CCI), which leverages a VLM to stratify datasets into causal and non-causal subsets, disentangling genuine causal reasoning from temporal bias. Evaluation of 13 state-of-the-art VDMs reveals that perceiving the arrow of time does not imply understanding causality, and a significant gap persists relative to human-level causal cognition.