Valdi: Wertdiffusions-Weltmodelle

Zusammenfassung

Weltmodelle können die modellprädiktive Regelung (MPC) ermöglichen, erfordern jedoch eine Dynamikvorhersage, die sowohl schnell genug für den Online-Einsatz als auch ausdrucksstark genug ist, um unsichere Zukünfte darzustellen. Diffusionsmodelle bieten einen natürlichen Mechanismus zur Modellierung unsicherer Dynamiken, doch ihr iterativer Inferenzprozess erschwert ihren Einsatz für latente Planung mit geringer Latenz. Wir überbrücken diese Lücke mit Value Diffusion World Models (Valdi), indem wir end-to-end Online-Training für MPC mit einem latenten Diffusionsdynamikmodell kombinieren. In vorläufigen Experimenten in der CarRacing-Umgebung zeigen wir, dass Valdi mit einem einzigen Diffusionsschritt sowohl beim Training als auch bei der Inferenz mit einer deterministischen MLP-Baseline mithalten kann. Unsere Experimente offenbaren in diesem Aufbau einen Zielkonflikt zwischen prädiktiver Multimodalität und Regelleistung. Der Code ist verfügbar unter https://github.com/Kit115/ValueDiffusionWorldModels.

English

World models can enable Model Predictive Control (MPC), but this requires dynamics prediction that is both fast enough for online use and expressive enough to represent uncertain futures. Diffusion models offer a natural mechanism for modeling uncertain dynamics, yet their iterative inference procedure makes them difficult to use for low-latency latent planning. We bridge this gap with Value Diffusion World Models (Valdi), combining end-to-end online training for MPC with a latent diffusion dynamics model. In preliminary experiments on the CarRacing environment, we show that Valdi, using a single diffusion step at both training and inference, matches a deterministic MLP baseline. Our experiments expose a trade-off between predictive multimodality and control performance in this setup. Code is available at https://github.com/Kit115/ValueDiffusionWorldModels.