Valdi: 가치 확산 세계 모델

초록

세계 모델은 모델 예측 제어(MPC)를 가능하게 하지만, 이를 위해서는 온라인 사용에 충분히 빠르면서도 불확실한 미래를 표현할 수 있을 만큼 표현력이 풍부한 동역학 예측이 필요합니다. 확산 모델은 불확실한 동역학을 모델링하는 자연스러운 메커니즘을 제공하지만, 반복적인 추론 절차로 인해 저지연 잠재 계획에 사용하기 어렵습니다. 우리는 가치 확산 세계 모델(Valdi)을 통해 이러한 간극을 해소하며, MPC를 위한 종단간 온라인 훈련과 잠재 확산 동역학 모델을 결합합니다. CarRacing 환경에서의 예비 실험을 통해, 훈련 및 추론 모두에서 단일 확산 단계를 사용하는 Valdi가 결정론적 MLP 기준선과 일치함을 보여줍니다. 실험 결과, 이 설정에서 예측 다중 모드성과 제어 성능 간의 상충 관계가 드러났습니다. 코드는 https://github.com/Kit115/ValueDiffusionWorldModels에서 확인할 수 있습니다.

English

World models can enable Model Predictive Control (MPC), but this requires dynamics prediction that is both fast enough for online use and expressive enough to represent uncertain futures. Diffusion models offer a natural mechanism for modeling uncertain dynamics, yet their iterative inference procedure makes them difficult to use for low-latency latent planning. We bridge this gap with Value Diffusion World Models (Valdi), combining end-to-end online training for MPC with a latent diffusion dynamics model. In preliminary experiments on the CarRacing environment, we show that Valdi, using a single diffusion step at both training and inference, matches a deterministic MLP baseline. Our experiments expose a trade-off between predictive multimodality and control performance in this setup. Code is available at https://github.com/Kit115/ValueDiffusionWorldModels.