Valdi: Waardediffusie Wereldmodellen

Samenvatting

Wereldmodellen kunnen Modelvoorspellende Regelgeving (MPC) mogelijk maken, maar dit vereist dynamiekvoorspelling die zowel snel genoeg is voor online gebruik als expressief genoeg om onzekere toekomsten weer te geven. Diffusiemodellen bieden een natuurlijk mechanisme voor het modelleren van onzekere dynamiek, maar hun iteratieve inferentieprocedure maakt ze moeilijk te gebruiken voor low-latency latente planning. Wij overbruggen deze kloof met Waardediffusie-Wereldmodellen (Value Diffusion World Models, Valdi), waarbij we end-to-end online training voor MPC combineren met een latent diffusie-dynamiekmodel. In voorlopige experimenten met de CarRacing-omgeving laten we zien dat Valdi, met een enkele diffusiestap tijdens zowel training als inferentie, overeenkomt met een deterministische MLP-baseline. Onze experimenten leggen een afweging bloot tussen voorspellende multimodaliteit en regelprestaties in deze opzet. Code is beschikbaar op https://github.com/Kit115/ValueDiffusionWorldModels.

English

World models can enable Model Predictive Control (MPC), but this requires dynamics prediction that is both fast enough for online use and expressive enough to represent uncertain futures. Diffusion models offer a natural mechanism for modeling uncertain dynamics, yet their iterative inference procedure makes them difficult to use for low-latency latent planning. We bridge this gap with Value Diffusion World Models (Valdi), combining end-to-end online training for MPC with a latent diffusion dynamics model. In preliminary experiments on the CarRacing environment, we show that Valdi, using a single diffusion step at both training and inference, matches a deterministic MLP baseline. Our experiments expose a trade-off between predictive multimodality and control performance in this setup. Code is available at https://github.com/Kit115/ValueDiffusionWorldModels.