Valdi: Modelos del mundo de difusión de valor

Resumen

Los modelos del mundo pueden habilitar el Control Predictivo de Modelos (MPC), pero esto requiere una predicción dinámica que sea lo suficientemente rápida para su uso en tiempo real y lo suficientemente expresiva para representar futuros inciertos. Los modelos de difusión ofrecen un mecanismo natural para modelar dinámicas inciertas, sin embargo, su procedimiento de inferencia iterativa dificulta su uso para la planificación latente de baja latencia. Salvamos esta brecha con los Modelos del Mundo de Difusión de Valor (Valdi), combinando entrenamiento en línea de extremo a extremo para MPC con un modelo de dinámica de difusión latente. En experimentos preliminares en el entorno CarRacing, demostramos que Valdi, utilizando un solo paso de difusión tanto en el entrenamiento como en la inferencia, iguala el rendimiento de una línea base determinista de MLP. Nuestros experimentos revelan un compromiso entre la multimodalidad predictiva y el rendimiento de control en esta configuración. El código está disponible en https://github.com/Kit115/ValueDiffusionWorldModels.

English

World models can enable Model Predictive Control (MPC), but this requires dynamics prediction that is both fast enough for online use and expressive enough to represent uncertain futures. Diffusion models offer a natural mechanism for modeling uncertain dynamics, yet their iterative inference procedure makes them difficult to use for low-latency latent planning. We bridge this gap with Value Diffusion World Models (Valdi), combining end-to-end online training for MPC with a latent diffusion dynamics model. In preliminary experiments on the CarRacing environment, we show that Valdi, using a single diffusion step at both training and inference, matches a deterministic MLP baseline. Our experiments expose a trade-off between predictive multimodality and control performance in this setup. Code is available at https://github.com/Kit115/ValueDiffusionWorldModels.