YoCausal: Насколько далеко генерация видео от модели мира? С точки зрения причинности.

Аннотация

По мере того как видео-диффузионные модели (VDM) продвигаются к моделям мира, возникает ключевой вопрос: действительно ли они понимают причинность или лишь переобучаются на статистические временные паттерны? Существующие бенчмарки в основном полагаются на синтетические данные, что ограничивает обобщение на реальный мир из-за разрыва между симуляцией и реальностью. Мы представляем YoCausal — бенчмарк двух уровней, вдохновленный парадигмой нарушения ожиданий (VoE) из когнитивной науки. Путем временного обращения реальных видео с нулевой стоимостью в качестве естественных контрфактических выборок, YoCausal устанавливает произвольно расширяемый протокол оценки. Уровень 1 вводит индекс обратной неожиданности (RSI), количественно оценивающий восприятие стрелы времени через потери при денойзинге. Уровень 2 вводит индекс когниции причинности (CCI), который использует VLM для стратификации наборов данных на причинные и непричинные подмножества, отделяя подлинное причинное рассуждение от временного смещения. Оценка 13 передовых VDM показывает, что восприятие стрелы времени не подразумевает понимания причинности, и сохраняется значительный разрыв по сравнению с причинной когницией человека.

English

As video diffusion models (VDMs) advance toward world models, a key question arises: do they truly understand causality, or merely overfit to statistical temporal patterns? Existing benchmarks mostly rely on synthetic data, limiting real-world generalization due to the sim-to-real gap. We present YoCausal, a two-level benchmark inspired by the Violation of Expectation (VoE) paradigm from cognitive science. By temporally reversing real-world videos at zero cost as natural counterfactual samples, YoCausal establishes an arbitrarily extensible evaluation protocol. Level 1 introduces the Reverse Surprise Index (RSI), quantifying arrow-of-time perception via denoising loss. Level 2 introduces the Causality Cognition Index (CCI), which leverages a VLM to stratify datasets into causal and non-causal subsets, disentangling genuine causal reasoning from temporal bias. Evaluation of 13 state-of-the-art VDMs reveals that perceiving the arrow of time does not imply understanding causality, and a significant gap persists relative to human-level causal cognition.