潜在粒子世界モデル：自己教師ありオブジェクト中心確率的ダイナミクスモデリング

Latent Particle World Models: Self-supervised Object-centric Stochastic Dynamics Modeling

March 4, 2026

著者: Tal Daniel, Carl Qi, Dan Haramati, Amir Zadeh, Chuan Li, Aviv Tamar, Deepak Pathak, David Held

cs.AI

要旨

本論文では、実世界の多オブジェクトデータセットにスケーラブルかつ意思決定に適用可能な、自己教師ありオブジェクト中心世界モデル「Latent Particle World Model (LPWM)」を提案する。LPWMは、ビデオデータからキーポイント、バウンディングボックス、オブジェクトマスクを自律的に発見し、教師なしで豊富なシーン分解を学習する。我々のアーキテクチャはビデオのみからエンドツーエンドで学習され、行動、言語、画像目標による柔軟な条件付けをサポートする。LPWMは、新規の潜在行動モジュールを介して確率的粒子ダイナミクスをモデル化し、多様な実世界及び合成データセットにおいて最先端の結果を達成する。確率的ビデオモデリングを超えて、LPWMは本論文で実証するように、目標条件付き模倣学習を含む意思決定に容易に適用可能である。コード、データ、事前学習済みモデル及びビデオロールアウトは以下で公開されている：https://taldatech.github.io/lpwm-web

English

We introduce Latent Particle World Model (LPWM), a self-supervised object-centric world model scaled to real-world multi-object datasets and applicable in decision-making. LPWM autonomously discovers keypoints, bounding boxes, and object masks directly from video data, enabling it to learn rich scene decompositions without supervision. Our architecture is trained end-to-end purely from videos and supports flexible conditioning on actions, language, and image goals. LPWM models stochastic particle dynamics via a novel latent action module and achieves state-of-the-art results on diverse real-world and synthetic datasets. Beyond stochastic video modeling, LPWM is readily applicable to decision-making, including goal-conditioned imitation learning, as we demonstrate in the paper. Code, data, pre-trained models and video rollouts are available: https://taldatech.github.io/lpwm-web