SimWAM: エンドツーエンド自動運転のためのシンプルなワールドアクションモデル

要旨

World-Action Models（WAMs）は、ビデオダイナミクスの事前知識を行動予測に転送することでエンドツーエンド自動運転を改善するが、既存手法は推論時にコストのかかる将来生成を必要とする。我々は、ビデオ生成を純粋に訓練信号として使用する、シンプルかつ効果的なWAMであるSimWAMを提案する。SimWAMは、事前学習済みビデオエキスパートと軽量な行動エキスパートをジョイントフローマッチングで共訓練する。分離されたアテンションマスクにより行動予測が将来フレームから独立に保たれ、訓練後にビデオブランチを破棄することができ、軌道を直接予測する自己完結型プランナーが残る。2つのエキスパートはパラメータを共有せず、統一されたアテンションインターフェースを通じてのみ相互作用するため、学習目的や推論パイプラインを変更することなく、ビデオバックボーンの交換や行動エキスパートの独立したスケーリングが可能である。さらに、軌道模倣を超えた合成的な運転報酬を最適化するために強化学習を適用する。我々のSimWAMは、NAVSIMにおいて91.5 PDMSを達成し、最先端のWAMベースのプランナーを大幅に低いレイテンシで上回り、nuScenesへのゼロショット転送を実現する。これらの結果により、SimWAMは、効率的な自動運転のためのビデオ生成の進歩から容易に恩恵を受け得る、シンプルかつ堅牢なベースラインとして位置づけられる。コードとモデルの重みは https://github.com/H-EmbodVis/SimWAM/ で公開されている。

English

World-Action Models (WAMs) improve end-to-end autonomous driving by transferring video dynamics priors to action prediction, but existing methods require costly future generation at inference. We present SimWAM, a simple yet effective WAM that uses video generation purely as a training signal. It co-trains a pretrained video expert and a lightweight action expert with joint flow matching. An isolated attention mask keeps action prediction independent of future frames, allowing the video branch to be discarded after training and leaving a self-contained planner that directly predicts trajectories. Since the two experts share no parameters and interact only through a unified attention interface, the video backbone could be replaced and the action expert scaled independently without modifying the learning objective or inference pipeline. We further apply reinforcement learning to optimize a compositional driving reward beyond trajectory imitation. Our SimWAM achieves 91.5 PDMS on NAVSIM, surpasses state-of-the-art WAM-based planners with substantially lower latency, and transfers zero-shot to nuScenes. These results position SimWAM as a simple yet solid baseline that could readily benefit from advances in video generation for efficient autonomous driving. The code and model weights are available at https://github.com/H-EmbodVis/SimWAM/