ODEWorld: 物理的時間フローによる連続予測アーキテクチャ

要旨

我々が住む物理世界では、空間と時間は根本的に連続である。しかし、世界モデリングのための既存の機械学習パラダイムは、主に離散時間予測に限定されており、物理世界のダイナミクスを捉える際に大きな非効率性を示している。本研究では、物理時間で動作する連続的な潜在速度場を学習する新しいアプローチであるPhysical-Time Flow（PT-Flow）を提案する。重要なことに、系列データの基盤となるダイナミクスは、適切に構造化された表現空間に埋め込まれた常微分方程式（ODE）によってパラメータ化される。このパラダイムの下では、未来予測は、圧縮潜在空間におけるODEソルバーによる時間積分として再定式化できる。PT-Flowに基づき、我々は効率的かつ汎用性の高い連続時間潜在世界モデルであるODEWorldを構築する。時間変動特徴を抽出し、動的表現空間と潜在速度場の両方にODE特性を課すことにより、ODEWorldは潜在世界モデル研究における長年の課題である表現崩壊を効果的に解決する。これにより、長時間予測後でも高品質な画像再構成が可能になる。さらに、その連続的な性質により、任意の時間分解能や、多くの離散時間モデルでは不可能な逆方向予測さえも可能となる。最後に、ODEWorldは計画指向の豊富な情報を提供し、下流のポリシー学習を促進できる。包括的な実験により、ODEWorldが計画に適したダイナミクス抽象化と視覚的リアリズムを首尾よく両立させ、ビデオ生成とロボット制御の両方で優れた性能を発揮することが実証された。https://dstate.github.io/odeworld_website/{Project Website}.

English

In the physical world we inhabit, space and time are fundamentally continuous. However, existing machine learning paradigms for world modeling are largely confined to discrete-time prediction, thereby exhibiting significant inefficiency in capturing the dynamics of physical world. We introduce Physical-Time Flow (PT-Flow), a novel approach that learns a continuous latent velocity field operating in physical time. Crucially, the underlying dynamics of sequential data are parameterized by an ordinary differential equation (ODE) embedded in a well-structured representation space. Under this paradigm, the prediction of future can be recast as temporal integration via an ODE solver in the compressed latent space. Building upon PT-Flow, we construct ODEWorld, a continuous-time latent world model that is both efficient and versatile. By extracting time-variant features and enforcing ODE properties on both the dynamical representation space and the latent velocity field, ODEWorld effectively addresses the long-standing representation collapse issue in latent world model literature. This also enables high-quality image reconstruction even after long-horizon prediction. Moreover, its continuous nature allows for arbitrary temporal resolution and even backward prediction, which is impossible for most discrete-time models. Lastly, ODEWorld can provide rich planning-oriented information to facilitate downstream policy learning. Comprehensive experiments demonstrate that ODEWorld successfully reconciles planning-conducive dynamics abstraction with visual realism, excelling in both video generation and robotic control. https://dstate.github.io/odeworld_website/{Project Website}.