Valdi: Modelos de Mundo de Difusão de Valor

Resumo

Modelos de mundo podem viabilizar o Controle Preditivo por Modelo (MPC), mas isso requer previsão de dinâmica que seja simultaneamente rápida o suficiente para uso online e expressiva o bastante para representar futuros incertos. Modelos de difusão oferecem um mecanismo natural para modelar dinâmicas incertas, embora seu procedimento iterativo de inferência dificulte sua aplicação em planejamento latente de baixa latência. Superamos essa lacuna com o Value Diffusion World Models (Valdi), combinando treinamento online ponta a ponta para MPC com um modelo de dinâmica de difusão latente. Em experimentos preliminares no ambiente CarRacing, mostramos que o Valdi, utilizando uma única etapa de difusão tanto no treinamento quanto na inferência, equipara-se a uma linha de base determinística de MLP. Nossos experimentos revelam um trade-off entre multimodalidade preditiva e desempenho de controle nessa configuração. O código está disponível em https://github.com/Kit115/ValueDiffusionWorldModels.

English

World models can enable Model Predictive Control (MPC), but this requires dynamics prediction that is both fast enough for online use and expressive enough to represent uncertain futures. Diffusion models offer a natural mechanism for modeling uncertain dynamics, yet their iterative inference procedure makes them difficult to use for low-latency latent planning. We bridge this gap with Value Diffusion World Models (Valdi), combining end-to-end online training for MPC with a latent diffusion dynamics model. In preliminary experiments on the CarRacing environment, we show that Valdi, using a single diffusion step at both training and inference, matches a deterministic MLP baseline. Our experiments expose a trade-off between predictive multimodality and control performance in this setup. Code is available at https://github.com/Kit115/ValueDiffusionWorldModels.