SimScale: Fahren lernen durch groß angelegte Simulation in der realen Welt
SimScale: Learning to Drive via Real-World Simulation at Scale
November 28, 2025
papers.authors: Haochen Tian, Tianyu Li, Haochen Liu, Jiazhi Yang, Yihang Qiu, Guang Li, Junli Wang, Yinfeng Gao, Zhang Zhang, Liang Wang, Hangjun Ye, Tieniu Tan, Long Chen, Hongyang Li
cs.AI
papers.abstract
Die Entwicklung vollständig autonomer Fahrzeuge erfordert das Erlernen rationaler Entscheidungen in einem breiten Spektrum von Szenarien, einschließlich sicherheitskritischer und Out-of-Distribution-Situationen. Solche Fälle sind jedoch in von menschlichen Experten gesammelten realen Datensätzen unterrepräsentiert. Um den Mangel an Datenvielfalt auszugleichen, stellen wir ein neuartiges und skalierbares Simulationsframework vor, das in der Lage ist, auf Basis bestehender Fahrprotokolle massenhaft ungesehene Zustände zu synthetisieren. Unsere Pipeline nutzt fortschrittliches Neural Rendering mit einer reaktiven Umgebung, um hochauflösende Multi-View-Beobachtungen zu generieren, die durch die perturbierte Ego-Trajektorie gesteuert werden. Darüber hinaus entwickeln wir einen Mechanismus zur Erzeugung pseudo-expertenhafter Trajektorien für diese neu simulierten Zustände, um Aktionssupervision bereitzustellen.
Auf den synthetisierten Daten stellen wir fest, dass eine einfache Co-Training-Strategie mit sowohl realen als auch simulierten Stichproben zu signifikanten Verbesserungen in Robustheit und Generalisierung verschiedener Planungsmethoden auf anspruchsvollen realen Benchmarks führen kann – bis zu +6,8 EPDMS auf navhard und +2,9 auf navtest. Noch wichtiger ist, dass solche Verbesserungen der Policy reibungslos skalieren, indem ausschließlich Simulationsdaten erhöht werden, selbst ohne zusätzlichen Zustrom realer Daten. Wir zeigen zudem mehrere entscheidende Erkenntnisse eines solchen Sim-Real-Lernsystems auf, das wir SimScale nennen, darunter das Design von Pseudo-Experten und die Skalierungseigenschaften für verschiedene Policy-Architekturen. Unsere Simulationsdaten und Code werden veröffentlicht.
English
Achieving fully autonomous driving systems requires learning rational decisions in a wide span of scenarios, including safety-critical and out-of-distribution ones. However, such cases are underrepresented in real-world corpus collected by human experts. To complement for the lack of data diversity, we introduce a novel and scalable simulation framework capable of synthesizing massive unseen states upon existing driving logs. Our pipeline utilizes advanced neural rendering with a reactive environment to generate high-fidelity multi-view observations controlled by the perturbed ego trajectory. Furthermore, we develop a pseudo-expert trajectory generation mechanism for these newly simulated states to provide action supervision. Upon the synthesized data, we find that a simple co-training strategy on both real-world and simulated samples can lead to significant improvements in both robustness and generalization for various planning methods on challenging real-world benchmarks, up to +6.8 EPDMS on navhard and +2.9 on navtest. More importantly, such policy improvement scales smoothly by increasing simulation data only, even without extra real-world data streaming in. We further reveal several crucial findings of such a sim-real learning system, which we term SimScale, including the design of pseudo-experts and the scaling properties for different policy architectures. Our simulation data and code would be released.