ODEWorld: 물리적 시간 흐름을 통한 연속적 예측 아키텍처

초록

우리가 살고 있는 물리적 세계에서 공간과 시간은 근본적으로 연속적이다. 그러나 세계 모델링을 위한 기존 기계 학습 패러다임들은 대부분 이산 시간 예측에 국한되어 있어 물리적 세계의 동역학을 포착하는 데 상당한 비효율성을 보인다. 우리는 물리적 시간에서 작동하는 연속 잠재 속도장을 학습하는 새로운 접근 방식인 Physical-Time Flow (PT-Flow)를 소개한다. 중요하게도, 순차 데이터의 기저 동역학은 잘 구조화된 표현 공간에 내장된 상미분 방정식(ODE)으로 매개변수화된다. 이 패러다임에서 미래 예측은 압축된 잠재 공간에서 ODE 솔버를 통한 시간 적분으로 재구성될 수 있다. PT-Flow를 기반으로 우리는 효율적이면서도 다재다능한 연속 시간 잠재 세계 모델인 ODEWorld를 구축한다. 시간 변동 특징을 추출하고 동역학적 표현 공간과 잠재 속도장 모두에 ODE 속성을 적용함으로써, ODEWorld는 잠재 세계 모델 문헌에서 오랜 기간 지속된 표현 붕괴 문제를 효과적으로 해결한다. 이는 또한 장기 예측 후에도 고품질 이미지 재구성을 가능하게 한다. 더욱이, 연속적 특성 덕분에 임의의 시간 해상도와 대부분의 이산 시간 모델에서는 불가능한 역방향 예측까지 가능하다. 마지막으로, ODEWorld는 후속 정책 학습을 촉진하기 위한 풍부한 계획 지향 정보를 제공할 수 있다. 포괄적인 실험을 통해 ODEWorld가 계획에 유리한 동역학 추상화와 시각적 사실성을 성공적으로 조화시키며 비디오 생성과 로봇 제어 모두에서 뛰어난 성능을 보임을 입증한다. https://dstate.github.io/odeworld_website/{프로젝트 웹사이트}.

English

In the physical world we inhabit, space and time are fundamentally continuous. However, existing machine learning paradigms for world modeling are largely confined to discrete-time prediction, thereby exhibiting significant inefficiency in capturing the dynamics of physical world. We introduce Physical-Time Flow (PT-Flow), a novel approach that learns a continuous latent velocity field operating in physical time. Crucially, the underlying dynamics of sequential data are parameterized by an ordinary differential equation (ODE) embedded in a well-structured representation space. Under this paradigm, the prediction of future can be recast as temporal integration via an ODE solver in the compressed latent space. Building upon PT-Flow, we construct ODEWorld, a continuous-time latent world model that is both efficient and versatile. By extracting time-variant features and enforcing ODE properties on both the dynamical representation space and the latent velocity field, ODEWorld effectively addresses the long-standing representation collapse issue in latent world model literature. This also enables high-quality image reconstruction even after long-horizon prediction. Moreover, its continuous nature allows for arbitrary temporal resolution and even backward prediction, which is impossible for most discrete-time models. Lastly, ODEWorld can provide rich planning-oriented information to facilitate downstream policy learning. Comprehensive experiments demonstrate that ODEWorld successfully reconciles planning-conducive dynamics abstraction with visual realism, excelling in both video generation and robotic control. https://dstate.github.io/odeworld_website/{Project Website}.