SimScale: Aprendizaje de Conducción mediante Simulación del Mundo Real a Escala
SimScale: Learning to Drive via Real-World Simulation at Scale
November 28, 2025
Autores: Haochen Tian, Tianyu Li, Haochen Liu, Jiazhi Yang, Yihang Qiu, Guang Li, Junli Wang, Yinfeng Gao, Zhang Zhang, Liang Wang, Hangjun Ye, Tieniu Tan, Long Chen, Hongyang Li
cs.AI
Resumen
Lograr sistemas de conducción completamente autónomos requiere aprender decisiones racionales en un amplio espectro de escenarios, incluidos aquellos críticos para la seguridad y fuera de distribución. Sin embargo, estos casos están subrepresentados en el corpus del mundo real recopilado por expertos humanos. Para compensar la falta de diversidad de datos, presentamos un marco de simulación novedoso y escalable capaz de sintetizar estados masivos no vistos a partir de registros de conducción existentes. Nuestra canalización utiliza renderizado neuronal avanzado con un entorno reactivo para generar observaciones de alta fidelidad y múltiples vistas controladas por la trayectoria perturbada del ego. Además, desarrollamos un mecanismo de generación de trayectorias pseudo-expertas para estos estados recién simulados, con el fin de proporcionar supervisión de acciones. Sobre los datos sintetizados, encontramos que una simple estrategia de co-entrenamiento con muestras tanto reales como simuladas puede conducir a mejoras significativas en la robustez y generalización de varios métodos de planificación en benchmarks reales desafiantes, hasta +6.8 EPDMS en navhard y +2.9 en navtest. Más importante aún, dicha mejora de la política escala suavemente al incrementar únicamente los datos de simulación, incluso sin flujo adicional de datos del mundo real. Además, revelamos varios hallazgos cruciales de este sistema de aprendizaje sim-real, que denominamos SimScale, incluido el diseño de pseudo-expertos y las propiedades de escalado para diferentes arquitecturas de políticas. Nuestros datos de simulación y código serán liberados.
English
Achieving fully autonomous driving systems requires learning rational decisions in a wide span of scenarios, including safety-critical and out-of-distribution ones. However, such cases are underrepresented in real-world corpus collected by human experts. To complement for the lack of data diversity, we introduce a novel and scalable simulation framework capable of synthesizing massive unseen states upon existing driving logs. Our pipeline utilizes advanced neural rendering with a reactive environment to generate high-fidelity multi-view observations controlled by the perturbed ego trajectory. Furthermore, we develop a pseudo-expert trajectory generation mechanism for these newly simulated states to provide action supervision. Upon the synthesized data, we find that a simple co-training strategy on both real-world and simulated samples can lead to significant improvements in both robustness and generalization for various planning methods on challenging real-world benchmarks, up to +6.8 EPDMS on navhard and +2.9 on navtest. More importantly, such policy improvement scales smoothly by increasing simulation data only, even without extra real-world data streaming in. We further reveal several crucial findings of such a sim-real learning system, which we term SimScale, including the design of pseudo-experts and the scaling properties for different policy architectures. Our simulation data and code would be released.