SimScale: Imparare a Guidare tramite Simulazione Realistica su Larga Scala
SimScale: Learning to Drive via Real-World Simulation at Scale
November 28, 2025
Autori: Haochen Tian, Tianyu Li, Haochen Liu, Jiazhi Yang, Yihang Qiu, Guang Li, Junli Wang, Yinfeng Gao, Zhang Zhang, Liang Wang, Hangjun Ye, Tieniu Tan, Long Chen, Hongyang Li
cs.AI
Abstract
Il raggiungimento di sistemi di guida completamente autonomi richiede l'apprendimento di decisioni razionali in un'ampia gamma di scenari, inclusi quelli critici per la sicurezza e fuori distribuzione. Tuttavia, tali casi sono sottorappresentati nel corpus del mondo reale raccolto da esperti umani. Per compensare la mancanza di diversità dei dati, introduciamo un framework di simulazione innovativo e scalabile in grado di sintetizzare stati non visti su larga scala a partire da log di guida esistenti. La nostra pipeline utilizza il neural rendering avanzato con un ambiente reattivo per generare osservazioni multi-vista ad alta fedeltà controllate dalla traiettoria ego perturbata. Inoltre, sviluppiamo un meccanismo di generazione di traiettorie pseudo-esperte per questi nuovi stati simulati, al fine di fornire una supervisione delle azioni. Utilizzando i dati sintetizzati, riscontriamo che una semplice strategia di co-addestramento su campioni sia reali che simulati può portare a miglioramenti significativi sia nella robustezza che nella generalizzazione per vari metodi di pianificazione su benchmark reali impegnativi, fino a +6,8 EPDMS su navhard e +2,9 su navtest. Ancora più importante, tale miglioramento delle politiche scala fluidamente aumentando solo i dati di simulazione, anche senza un flusso aggiuntivo di dati reali. Riveliamo inoltre diversi risultati cruciali di un tale sistema di apprendimento simulato-reale, che denominiamo SimScale, includendo la progettazione degli pseudo-esperti e le proprietà di scaling per diverse architetture di politiche. I nostri dati di simulazione e il codice verranno rilasciati.
English
Achieving fully autonomous driving systems requires learning rational decisions in a wide span of scenarios, including safety-critical and out-of-distribution ones. However, such cases are underrepresented in real-world corpus collected by human experts. To complement for the lack of data diversity, we introduce a novel and scalable simulation framework capable of synthesizing massive unseen states upon existing driving logs. Our pipeline utilizes advanced neural rendering with a reactive environment to generate high-fidelity multi-view observations controlled by the perturbed ego trajectory. Furthermore, we develop a pseudo-expert trajectory generation mechanism for these newly simulated states to provide action supervision. Upon the synthesized data, we find that a simple co-training strategy on both real-world and simulated samples can lead to significant improvements in both robustness and generalization for various planning methods on challenging real-world benchmarks, up to +6.8 EPDMS on navhard and +2.9 on navtest. More importantly, such policy improvement scales smoothly by increasing simulation data only, even without extra real-world data streaming in. We further reveal several crucial findings of such a sim-real learning system, which we term SimScale, including the design of pseudo-experts and the scaling properties for different policy architectures. Our simulation data and code would be released.