SimScale: 大規模な実世界シミュレーションによる運転学習

SimScale: Learning to Drive via Real-World Simulation at Scale

November 28, 2025

著者: Haochen Tian, Tianyu Li, Haochen Liu, Jiazhi Yang, Yihang Qiu, Guang Li, Junli Wang, Yinfeng Gao, Zhang Zhang, Liang Wang, Hangjun Ye, Tieniu Tan, Long Chen, Hongyang Li

cs.AI

要旨

完全自律走行システムの実現には、安全クリティカルな状況や分布外の状況を含む多様なシナリオにおける合理的な判断の学習が不可欠です。しかし、人間の専門家によって収集された実世界のデータセットでは、こうした事例が十分に反映されていません。データ多様性の不足を補うため、既存の走行記録に基づいて大規模な未観測状態を合成可能な新規のシミュレーションフレームワークを提案します。本パイプラインは、摂動を加えたエゴ軌道によって制御される高精細なマルチビュー観測を、反応型環境を備えた先進的ニューラルレンダリング技術で生成します。さらに、新たにシミュレートされた状態に対して擬似専門家軌道生成メカニズムを開発し、行動教師信号を提供します。合成データを用いた検証により、実世界データとシミュレーションデータの単純な共同学習戦略が、困難な実世界ベンチマークにおいて各種計画手法のロバスト性と汎化性能を大幅に向上させることを確認しました（navhardで最大+6.8 EPDMS、navtestで+2.9）。特に重要なのは、実世界データの追加流入がなくとも、シミュレーションデータのみを増加させることで政策改善が滑らかにスケールする点です。さらに「SimScale」と名付けたこの模擬現実学習システムについて、擬似専門家の設計や各種政策アーキテクチャにおけるスケーリング特性など、いくつかの重要な知見を明らかにしました。シミュレーションデータとコードは公開予定です。

English

Achieving fully autonomous driving systems requires learning rational decisions in a wide span of scenarios, including safety-critical and out-of-distribution ones. However, such cases are underrepresented in real-world corpus collected by human experts. To complement for the lack of data diversity, we introduce a novel and scalable simulation framework capable of synthesizing massive unseen states upon existing driving logs. Our pipeline utilizes advanced neural rendering with a reactive environment to generate high-fidelity multi-view observations controlled by the perturbed ego trajectory. Furthermore, we develop a pseudo-expert trajectory generation mechanism for these newly simulated states to provide action supervision. Upon the synthesized data, we find that a simple co-training strategy on both real-world and simulated samples can lead to significant improvements in both robustness and generalization for various planning methods on challenging real-world benchmarks, up to +6.8 EPDMS on navhard and +2.9 on navtest. More importantly, such policy improvement scales smoothly by increasing simulation data only, even without extra real-world data streaming in. We further reveal several crucial findings of such a sim-real learning system, which we term SimScale, including the design of pseudo-experts and the scaling properties for different policy architectures. Our simulation data and code would be released.