세계가 어떻게 진화하는지 학습하기: 잠재 역학 추론을 통한 외삽적 비디오 세계 모델

초록

세계는 그 역학, 즉 운동 법칙을 따라 진화한다. 그러나 주요 비디오 확산 모델들은 픽셀이 시간에 따라 어떻게 전이하는지 모델링하지 않고 주로 픽셀에 맞추는 데 그친다. 따라서 시각적으로 그럴듯한 프레임을 생성할 수 있지만 물리 법칙을 정확히 따르지 못할 수 있다. 픽셀로부터 역학을 순수하게 포착하기 위해, 우리는 잠재 역학 추론(Latent Dynamics Reasoning, LDR)을 제안한다. LDR은 잠재 전이를 명시적 운동학적 적분으로 표현한다. 여기서 저차 역학은 수치적으로 적분되며, 모델은 롤아웃을 추동하는 3차 이상의 고차 잔차만 회귀한다. 이 적분이 더 잘 외삽되도록, LDR은 밀집 합성곱 특징 대신 구조화된 잠재 표현 상에서 적분을 수행한다. PhyWorld에 따라, 우리는 LDR을 다섯 가지 과제(등속 운동, 포물선 운동, 충돌, 튕김, 접근)를 포괄하는 통제된 화이트박스 물리 벤치마크에서 검증하며, 모델이 기저 역학을 진정으로 학습했는지 드러내는 분포 외 시나리오에 초점을 맞춘다. LDR은 학습된 역학을 훨씬 더 잘 외삽한다. 256² 해상도의 단일 과제 및 다중 과제 훈련 모두에서 분포 내 오류와 분포 외 오류 간의 격차가 비디오 확산 베이스라인보다 20배 이상 작으며, 파라미터 수는 26배 적고 실행 속도는 143배 빠르다. LDR은 심각한 분포 변화에서도 일반화할 수 있다. 예를 들어, 왼쪽에서 오른쪽으로 움직이는 빨간 공으로만 훈련되었음에도 오른쪽에서 왼쪽으로 움직이는 파란 사각형의 운동을 정확히 예측한다. 우리가 아는 한, 이는 학습된 역학을 훈련 분포 너머로 외삽하는 최초의 비디오 세계 모델이다. 프로젝트 페이지: https://lat-dyn-reason.github.io/

English

The world evolves following its dynamics, i.e., its laws of motion. However, leading video diffusion models largely fit the pixels without modeling how the pixels transit over time. Thus, they render visually plausible frames but may not accurately obey the laws. To capture the dynamics purely from pixels, we introduce Latent Dynamics Reasoning (LDR). LDR casts the latent transition as an explicit kinematic integration, where the lower-order dynamics are integrated numerically and the model regresses only the third- and higher-order residual that drives the rollout. For this integration to extrapolate better, LDR runs it on a structured latent rather than dense convolutional features. Following PhyWorld, we validate LDR on a controlled white-box physics benchmark spanning five tasks (uniform motion, parabola, collision, bouncing, looming), focusing on out-of-distribution scenarios that reveal whether a model has truly learned the underlying dynamics. LDR extrapolates the learned dynamics far better: the gap between its in- and out-of-distribution error is over 20times smaller than the video diffusion baseline's, under both single- and joint-task training at 256^2 resolution, while using 26times fewer parameters and running 143times faster. LDR can even generalize under severe shift: for example, trained only on red balls moving left-to-right, it correctly predicts the motion of a blue square moving right-to-left. To our knowledge, this is the first video world model that extrapolates learned dynamics beyond its training distribution. Project page: https://lat-dyn-reason.github.io/