Латентные частично-ориентированные мировые модели: Самоконтролируемое объектно-центрированное моделирование стохастической динамики
Latent Particle World Models: Self-supervised Object-centric Stochastic Dynamics Modeling
March 4, 2026
Авторы: Tal Daniel, Carl Qi, Dan Haramati, Amir Zadeh, Chuan Li, Aviv Tamar, Deepak Pathak, David Held
cs.AI
Аннотация
Мы представляем Latent Particle World Model (LPWM) — самообучаемую объектно-ориентированную мировую модель, масштабируемую для работы с реальными наборами данных, содержащими множество объектов, и применимую для принятия решений. LPWM автономно обнаруживает ключевые точки, ограничивающие рамки и маски объектов непосредственно из видеоданных, что позволяет ей изучать богатые декомпозиции сцены без учителя. Наша архитектура обучается сквозным образом исключительно на видео и поддерживает гибкое условие на действия, язык и целевые изображения. LPWM моделирует стохастическую динамику частиц с помощью нового модуля латентных действий и достигает передовых результатов на различных реальных и синтетических наборах данных. Помимо стохастического моделирования видео, LPWM легко применима для принятия решений, включая имитационное обучение с условием на цель, что мы демонстрируем в статье. Код, данные, предобученные модели и видеоролики доступны по адресу: https://taldatech.github.io/lpwm-web
English
We introduce Latent Particle World Model (LPWM), a self-supervised object-centric world model scaled to real-world multi-object datasets and applicable in decision-making. LPWM autonomously discovers keypoints, bounding boxes, and object masks directly from video data, enabling it to learn rich scene decompositions without supervision. Our architecture is trained end-to-end purely from videos and supports flexible conditioning on actions, language, and image goals. LPWM models stochastic particle dynamics via a novel latent action module and achieves state-of-the-art results on diverse real-world and synthetic datasets. Beyond stochastic video modeling, LPWM is readily applicable to decision-making, including goal-conditioned imitation learning, as we demonstrate in the paper. Code, data, pre-trained models and video rollouts are available: https://taldatech.github.io/lpwm-web