Valdi: 価値拡散世界モデル

要旨

ワールドモデルはモデル予測制御（MPC）を可能にするが、そのためにはオンライン利用に十分高速でありながら、不確かな未来を表現できるほど表現力豊かな動的予測が必要となる。拡散モデルは不確実な力学をモデル化する自然な機構を提供するが、その反復的な推論手順により、低レイテンシの潜在計画に活用することは困難である。本研究では、拡散力学モデルとMPCのためのエンドツーエンドのオンライン学習を組み合わせたValue Diffusion World Models（Valdi）を提案し、このギャップを埋める。CarRacing環境での予備実験において、学習時と推論時の両方で単一の拡散ステップを用いるValdiが、決定論的なMLPベースラインと同等の性能を示すことを実証した。さらに、本実験により、この設定において予測の多峰性と制御性能の間にトレードオフが存在することが明らかになった。コードはhttps://github.com/Kit115/ValueDiffusionWorldModelsで公開されている。

English

World models can enable Model Predictive Control (MPC), but this requires dynamics prediction that is both fast enough for online use and expressive enough to represent uncertain futures. Diffusion models offer a natural mechanism for modeling uncertain dynamics, yet their iterative inference procedure makes them difficult to use for low-latency latent planning. We bridge this gap with Value Diffusion World Models (Valdi), combining end-to-end online training for MPC with a latent diffusion dynamics model. In preliminary experiments on the CarRacing environment, we show that Valdi, using a single diffusion step at both training and inference, matches a deterministic MLP baseline. Our experiments expose a trade-off between predictive multimodality and control performance in this setup. Code is available at https://github.com/Kit115/ValueDiffusionWorldModels.