Valdi: Мировые модели диффузии ценности

Аннотация

Мировые модели могут обеспечить модельно-прогностическое управление (MPC), однако для этого требуется прогнозирование динамики, которое одновременно достаточно быстро для использования в реальном времени и достаточно выразительно для представления неопределенных будущих состояний. Диффузионные модели предлагают естественный механизм моделирования неопределенной динамики, однако их итеративная процедура вывода затрудняет их применение для малозатратного латентного планирования. Мы преодолеваем этот разрыв с помощью Value Diffusion World Models (Valdi), объединяя сквозное онлайн-обучение для MPC с латентной диффузионной моделью динамики. В предварительных экспериментах на среде CarRacing мы показываем, что Valdi, использующий один шаг диффузии как при обучении, так и при выводе, достигает производительности детерминированного базового MLP. Наши эксперименты выявляют компромисс между прогностической мультимодальностью и качеством управления в данной конфигурации. Код доступен по адресу https://github.com/Kit115/ValueDiffusionWorldModels.

English

World models can enable Model Predictive Control (MPC), but this requires dynamics prediction that is both fast enough for online use and expressive enough to represent uncertain futures. Diffusion models offer a natural mechanism for modeling uncertain dynamics, yet their iterative inference procedure makes them difficult to use for low-latency latent planning. We bridge this gap with Value Diffusion World Models (Valdi), combining end-to-end online training for MPC with a latent diffusion dynamics model. In preliminary experiments on the CarRacing environment, we show that Valdi, using a single diffusion step at both training and inference, matches a deterministic MLP baseline. Our experiments expose a trade-off between predictive multimodality and control performance in this setup. Code is available at https://github.com/Kit115/ValueDiffusionWorldModels.