挑戦的な軌道における物理的に一貫した運転ビデオ世界モデルに向けて

Toward Physically Consistent Driving Video World Models under Challenging Trajectories

March 25, 2026

著者: Jiawei Zhou, Zhenxin Zhu, Lingyi Du, Linye Lyu, Lijun Zhou, Zhanqian Wu, Hongcheng Luo, Zhuotao Tian, Bing Wang, Guang Chen, Hangjun Ye, Haiyang Sun, Yu Li

cs.AI

要旨

映像生成モデルは、自動運転シミュレーションにおける世界モデルとして強い可能性を示している。しかし、既存の手法は主に実世界の運転データセットで学習されており、その多くは自然で安全な運転シナリオを含んでいる。その結果、現行のモデルは、シミュレータや計画システムによって生成された不完全な軌道など、挑戦的または反事実的な軌道を条件として与えられると、重度の物理的不整合やアーティファクトを伴う映像を生成し、しばしば失敗する。この制限に対処するため、我々は高視覚忠実度かつ強力な物理的一貫性を備えた運転映像を生成する世界モデルPhyGenesisを提案する。本フレームワークは二つの主要構成要素から成る：（1）潜在的に無効な軌道入力を物理的に妥当な条件に変換する物理条件生成器、（2）これらの条件下で高精細なマルチビュー運転映像を生成する物理強化映像生成器である。これらのコンポーネントを効果的に学習させるため、大規模で物理的に豊富な異種混合データセットを構築した。具体的には、実世界の運転映像に加えて、CARLAシミュレータを用いて多様な挑戦的運転シナリオを生成し、極限条件下での物理に基づいたダイナミクスをモデルに学習させるための教師信号を導出する。この挑戦的軌道学習戦略は、軌道補正を可能にし、物理的一貫性のある映像生成を促進する。大規模な実験により、PhyGenesisが特に挑戦的軌道上において、最先端手法を一貫して凌駕することを実証した。プロジェクトページは以下で公開されている：https://wm-research.github.io/PhyGenesis/。

English

Video generation models have shown strong potential as world models for autonomous driving simulation. However, existing approaches are primarily trained on real-world driving datasets, which mostly contain natural and safe driving scenarios. As a result, current models often fail when conditioned on challenging or counterfactual trajectories-such as imperfect trajectories generated by simulators or planning systems-producing videos with severe physical inconsistencies and artifacts. To address this limitation, we propose PhyGenesis, a world model designed to generate driving videos with high visual fidelity and strong physical consistency. Our framework consists of two key components: (1) a physical condition generator that transforms potentially invalid trajectory inputs into physically plausible conditions, and (2) a physics-enhanced video generator that produces high-fidelity multi-view driving videos under these conditions. To effectively train these components, we construct a large-scale, physics-rich heterogeneous dataset. Specifically, in addition to real-world driving videos, we generate diverse challenging driving scenarios using the CARLA simulator, from which we derive supervision signals that guide the model to learn physically grounded dynamics under extreme conditions. This challenging-trajectory learning strategy enables trajectory correction and promotes physically consistent video generation. Extensive experiments demonstrate that PhyGenesis consistently outperforms state-of-the-art methods, especially on challenging trajectories. Our project page is available at: https://wm-research.github.io/PhyGenesis/.