SimScale: Leren autorijden via grootschalige simulatie in de echte wereld
SimScale: Learning to Drive via Real-World Simulation at Scale
November 28, 2025
Auteurs: Haochen Tian, Tianyu Li, Haochen Liu, Jiazhi Yang, Yihang Qiu, Guang Li, Junli Wang, Yinfeng Gao, Zhang Zhang, Liang Wang, Hangjun Ye, Tieniu Tan, Long Chen, Hongyang Li
cs.AI
Samenvatting
Het bereiken van volledig autonome rijsystemen vereist het leren van rationele beslissingen in een breed scala aan scenario's, inclusief veiligheidskritieke en out-of-distribution situaties. Dergelijke gevallen zijn echter ondervertegenwoordigd in de real-world datasets die door menselijke experts zijn verzameld. Om het gebrek aan datadiversiteit aan te vullen, introduceren we een nieuw en schaalbaar simulatiekader dat in staat is om massaal ongeziene toestanden te synthetiseren op basis van bestaande rijlogs. Onze pijplijn maakt gebruik van geavanceerde neural rendering met een reactieve omgeving om hoogfidelity multi-view observaties te genereren die worden gestuurd door een verstoord ego-traject. Verder ontwikkelen we een mechanisme voor het genereren van pseudo-expert trajecten voor deze nieuw gesimuleerde toestanden om actiesupervisie te bieden. Op basis van de gesynthetiseerde data constateren we dat een eenvoudige co-trainingsstrategie op zowel real-world als gesimuleerde samples kan leiden tot significante verbeteringen in robuustheid en generalisatie voor verschillende planningsmethoden op uitdagende real-world benchmarks, tot +6.8 EPDMS op navhard en +2.9 op navtest. Belangrijker nog, een dergelijke verbetering van het beleid schaalt soepel door alleen de simulatiegegevens te vergroten, zelfs zonder extra real-world datastromen. We onthullen verder enkele cruciale bevindingen van een dergelijk sim-real leersysteem, dat we SimScale noemen, waaronder het ontwerp van pseudo-experts en de schaaleigenschappen voor verschillende beleidsarchitecturen. Onze simulatiegegevens en code zullen worden vrijgegeven.
English
Achieving fully autonomous driving systems requires learning rational decisions in a wide span of scenarios, including safety-critical and out-of-distribution ones. However, such cases are underrepresented in real-world corpus collected by human experts. To complement for the lack of data diversity, we introduce a novel and scalable simulation framework capable of synthesizing massive unseen states upon existing driving logs. Our pipeline utilizes advanced neural rendering with a reactive environment to generate high-fidelity multi-view observations controlled by the perturbed ego trajectory. Furthermore, we develop a pseudo-expert trajectory generation mechanism for these newly simulated states to provide action supervision. Upon the synthesized data, we find that a simple co-training strategy on both real-world and simulated samples can lead to significant improvements in both robustness and generalization for various planning methods on challenging real-world benchmarks, up to +6.8 EPDMS on navhard and +2.9 on navtest. More importantly, such policy improvement scales smoothly by increasing simulation data only, even without extra real-world data streaming in. We further reveal several crucial findings of such a sim-real learning system, which we term SimScale, including the design of pseudo-experts and the scaling properties for different policy architectures. Our simulation data and code would be released.