Latente Deeltjes Wereldmodellen: Zelf-gesuperviseerde Object-gecentreerde Stochastische Dynamiekmodellering
Latent Particle World Models: Self-supervised Object-centric Stochastic Dynamics Modeling
March 4, 2026
Auteurs: Tal Daniel, Carl Qi, Dan Haramati, Amir Zadeh, Chuan Li, Aviv Tamar, Deepak Pathak, David Held
cs.AI
Samenvatting
Wij introduceren het Latent Particle World Model (LPWM), een zelf-gesuperviseerd object-gecentreerd wereldmodel dat is opgeschaald voor real-world multi-object datasets en toepasbaar is in besluitvorming. LPWM ontdekt autonoom keypoints, begrenzingskaders en objectmaskers rechtstreeks uit videogegevens, waardoor het rijke scène-decomposities kan leren zonder supervisie. Onze architectuur wordt end-to-end uitsluitend getraind met video's en ondersteunt flexibele conditionering op acties, taal en beelddoelen. LPWM modelleert stochastische deeltjesdynamica via een nieuwe latente actiemodule en behaalt state-of-the-art resultaten op diverse real-world en synthetische datasets. Naast stochastische videomodellering is LPWM direct toepasbaar op besluitvorming, inclusief doel-geconditioneerd imitatieleren, zoals wij in het artikel demonstreren. Code, data, voorgetrainde modellen en video-rollouts zijn beschikbaar op: https://taldatech.github.io/lpwm-web
English
We introduce Latent Particle World Model (LPWM), a self-supervised object-centric world model scaled to real-world multi-object datasets and applicable in decision-making. LPWM autonomously discovers keypoints, bounding boxes, and object masks directly from video data, enabling it to learn rich scene decompositions without supervision. Our architecture is trained end-to-end purely from videos and supports flexible conditioning on actions, language, and image goals. LPWM models stochastic particle dynamics via a novel latent action module and achieves state-of-the-art results on diverse real-world and synthetic datasets. Beyond stochastic video modeling, LPWM is readily applicable to decision-making, including goal-conditioned imitation learning, as we demonstrate in the paper. Code, data, pre-trained models and video rollouts are available: https://taldatech.github.io/lpwm-web