世界がどのように進化するかを学ぶ：潜在ダイナミクス推論による外挿的ビデオワールドモデル

要旨

世界は、そのダイナミクス、すなわち運動の法則に従って時間発展する。しかし、主要なビデオ拡散モデルは、ピクセルが時間とともにどのように遷移するかをモデル化せずに、主にピクセルに適合している。そのため、視覚的にもっともらしいフレームを生成する一方で、その法則を正確に守っているとは限らない。ピクセルから純粋にダイナミクスを捉えるために、我々は潜在ダイナミクス推論（LDR）を導入する。LDRは潜在遷移を明示的な運動学的積分として捉える。そこでは低次のダイナミクスが数値的に積分され、モデルはロールアウトを駆動する三次以上の残差のみを回帰する。この積分がより良く外挿できるように、LDRは密な畳み込み特徴ではなく構造化された潜在表現上でそれを実行する。PhyWorldに従い、我々は5つのタスク（等速運動、放物運動、衝突、バウンド、接近）からなる制御されたホワイトボックス物理ベンチマークでLDRを検証し、モデルが根底にあるダイナミクスを本当に学習したかどうかを明らかにする分布外シナリオに焦点を当てる。LDRは学習したダイナミクスをはるかに良く外挿する。分布内誤差と分布外誤差の差は、256×256解像度での単一タスク学習と複数タスク学習の両方において、ビデオ拡散ベースラインのそれより20倍以上小さく、しかもパラメータ数は26分の1で、実行速度は143倍高速である。LDRは大きな分布シフトの下でも汎化できる。例えば、左から右へ動く赤いボールのみで学習した場合でも、右から左へ動く青い四角形の動きを正確に予測する。我々の知る限り、これは学習したダイナミクスをトレーニング分布の外へ外挿する最初のビデオ世界モデルである。プロジェクトページ: https://lat-dyn-reason.github.io/

English

The world evolves following its dynamics, i.e., its laws of motion. However, leading video diffusion models largely fit the pixels without modeling how the pixels transit over time. Thus, they render visually plausible frames but may not accurately obey the laws. To capture the dynamics purely from pixels, we introduce Latent Dynamics Reasoning (LDR). LDR casts the latent transition as an explicit kinematic integration, where the lower-order dynamics are integrated numerically and the model regresses only the third- and higher-order residual that drives the rollout. For this integration to extrapolate better, LDR runs it on a structured latent rather than dense convolutional features. Following PhyWorld, we validate LDR on a controlled white-box physics benchmark spanning five tasks (uniform motion, parabola, collision, bouncing, looming), focusing on out-of-distribution scenarios that reveal whether a model has truly learned the underlying dynamics. LDR extrapolates the learned dynamics far better: the gap between its in- and out-of-distribution error is over 20times smaller than the video diffusion baseline's, under both single- and joint-task training at 256^2 resolution, while using 26times fewer parameters and running 143times faster. LDR can even generalize under severe shift: for example, trained only on red balls moving left-to-right, it correctly predicts the motion of a blue square moving right-to-left. To our knowledge, this is the first video world model that extrapolates learned dynamics beyond its training distribution. Project page: https://lat-dyn-reason.github.io/