Valdi : Modèles du Monde par Diffusion de Valeur

Résumé

Les modèles du monde peuvent permettre le Contrôle Prédictif par Modèle (MPC), mais cela nécessite une prédiction de la dynamique à la fois suffisamment rapide pour une utilisation en ligne et suffisamment expressive pour représenter des futurs incertains. Les modèles de diffusion offrent un mécanisme naturel pour modéliser une dynamique incertaine, mais leur procédure d'inférence itérative les rend difficiles à utiliser pour une planification latente à faible latence. Nous comblons cet écart avec les Modèles du Monde à Diffusion de Valeur (Valdi), en combinant un apprentissage en ligne de bout en bout pour le MPC avec un modèle de dynamique à diffusion latente. Dans des expériences préliminaires sur l'environnement CarRacing, nous montrons que Valdi, utilisant une seule étape de diffusion à la fois pour l'apprentissage et l'inférence, atteint les performances d'une référence MLP déterministe. Nos expériences révèlent un compromis entre la multimodalité prédictive et la performance de contrôle dans ce contexte. Le code est disponible à l'adresse https://github.com/Kit115/ValueDiffusionWorldModels.

English

World models can enable Model Predictive Control (MPC), but this requires dynamics prediction that is both fast enough for online use and expressive enough to represent uncertain futures. Diffusion models offer a natural mechanism for modeling uncertain dynamics, yet their iterative inference procedure makes them difficult to use for low-latency latent planning. We bridge this gap with Value Diffusion World Models (Valdi), combining end-to-end online training for MPC with a latent diffusion dynamics model. In preliminary experiments on the CarRacing environment, we show that Valdi, using a single diffusion step at both training and inference, matches a deterministic MLP baseline. Our experiments expose a trade-off between predictive multimodality and control performance in this setup. Code is available at https://github.com/Kit115/ValueDiffusionWorldModels.