SimScale: Обучение вождению через масштабируемое моделирование реальных условий

SimScale: Learning to Drive via Real-World Simulation at Scale

November 28, 2025

Авторы: Haochen Tian, Tianyu Li, Haochen Liu, Jiazhi Yang, Yihang Qiu, Guang Li, Junli Wang, Yinfeng Gao, Zhang Zhang, Liang Wang, Hangjun Ye, Tieniu Tan, Long Chen, Hongyang Li

cs.AI

Аннотация

Достижение полностью автономных систем вождения требует обучения принятия рациональных решений в широком спектре сценариев, включая критические с точки зрения безопасности и сценарии с выходом за пределы распределения данных. Однако такие случаи недостаточно представлены в реальных данных, собранных экспертами-людьми. Для компенсации недостатка разнообразия данных мы представляем новую масштабируемую симуляционную среду, способную синтезировать массу ненаблюдавшихся состояний на основе существующих журналов вождения. Наш конвейер использует передовой нейронный рендеринг в сочетании с реактивной средой для генерации высококачественных многовидовых наблюдений, управляемых возмущенной траекторией эго-агента. Кроме того, мы разработали механизм генерации псевдоэкспертных траекторий для этих вновь смоделированных состояний, чтобы обеспечить контроль за действиями. На синтезированных данных мы обнаружили, что простая стратегия совместного обучения на реальных и смоделированных примерах может привести к значительному улучшению как устойчивости, так и способности к обобщению для различных методов планирования на сложных реальных тестах: до +6,8 EPDMS на navhard и +2,9 на navtest. Что более важно, такое улучшение политики плавно масштабируется лишь за счет увеличения объема симуляционных данных, даже без дополнительного притока реальных данных. Мы также выявляем несколько ключевых особенностей такой системы обучения «симуляция-реальность», которую мы называем SimScale, включая проектирование псевдоэкспертов и свойства масштабирования для различных архитектур политик. Наши симуляционные данные и код будут опубликованы.

English

Achieving fully autonomous driving systems requires learning rational decisions in a wide span of scenarios, including safety-critical and out-of-distribution ones. However, such cases are underrepresented in real-world corpus collected by human experts. To complement for the lack of data diversity, we introduce a novel and scalable simulation framework capable of synthesizing massive unseen states upon existing driving logs. Our pipeline utilizes advanced neural rendering with a reactive environment to generate high-fidelity multi-view observations controlled by the perturbed ego trajectory. Furthermore, we develop a pseudo-expert trajectory generation mechanism for these newly simulated states to provide action supervision. Upon the synthesized data, we find that a simple co-training strategy on both real-world and simulated samples can lead to significant improvements in both robustness and generalization for various planning methods on challenging real-world benchmarks, up to +6.8 EPDMS on navhard and +2.9 on navtest. More importantly, such policy improvement scales smoothly by increasing simulation data only, even without extra real-world data streaming in. We further reveal several crucial findings of such a sim-real learning system, which we term SimScale, including the design of pseudo-experts and the scaling properties for different policy architectures. Our simulation data and code would be released.