NAVSIM: Simulazione e Benchmarking Non Reattivo di Veicoli Autonomi Basati su Dati

Abstract

Valutare le politiche di guida basate sulla visione è una sfida complessa. Da un lato, la valutazione in open-loop con dati reali è semplice, ma i risultati non riflettono le prestazioni in closed-loop. Dall'altro, la valutazione in closed-loop è possibile in simulazione, ma è difficile da scalare a causa delle sue significative richieste computazionali. Inoltre, i simulatori disponibili oggi mostrano un ampio divario di dominio rispetto ai dati reali. Ciò ha portato all'impossibilità di trarre conclusioni chiare dal crescente corpus di ricerca sulla guida autonoma end-to-end. In questo articolo, presentiamo NAVSIM, un punto intermedio tra questi paradigmi di valutazione, in cui utilizziamo grandi dataset in combinazione con un simulatore non reattivo per abilitare benchmarking su larga scala nel mondo reale. Nello specifico, raccogliamo metriche basate sulla simulazione, come il progresso e il tempo alla collisione, srotolando astrazioni in vista a volo d'uccello delle scene di test per un breve orizzonte di simulazione. La nostra simulazione è non reattiva, ovvero la politica valutata e l'ambiente non si influenzano reciprocamente. Come dimostriamo empiricamente, questo disaccoppiamento consente il calcolo delle metriche in open-loop, pur essendo più allineato con le valutazioni in closed-loop rispetto ai tradizionali errori di spostamento. NAVSIM ha abilitato una nuova competizione tenutasi a CVPR 2024, dove 143 team hanno presentato 463 contributi, portando a diverse nuove intuizioni. Su un ampio set di scenari complessi, osserviamo che metodi semplici con requisiti computazionali moderati come TransFuser possono competere con recenti architetture di guida end-to-end su larga scala come UniAD. Il nostro framework modulare può potenzialmente essere esteso con nuovi dataset, strategie di curatela dei dati e metriche, e sarà continuamente mantenuto per ospitare future sfide. Il nostro codice è disponibile all'indirizzo https://github.com/autonomousvision/navsim.

English

Benchmarking vision-based driving policies is challenging. On one hand, open-loop evaluation with real data is easy, but these results do not reflect closed-loop performance. On the other, closed-loop evaluation is possible in simulation, but is hard to scale due to its significant computational demands. Further, the simulators available today exhibit a large domain gap to real data. This has resulted in an inability to draw clear conclusions from the rapidly growing body of research on end-to-end autonomous driving. In this paper, we present NAVSIM, a middle ground between these evaluation paradigms, where we use large datasets in combination with a non-reactive simulator to enable large-scale real-world benchmarking. Specifically, we gather simulation-based metrics, such as progress and time to collision, by unrolling bird's eye view abstractions of the test scenes for a short simulation horizon. Our simulation is non-reactive, i.e., the evaluated policy and environment do not influence each other. As we demonstrate empirically, this decoupling allows open-loop metric computation while being better aligned with closed-loop evaluations than traditional displacement errors. NAVSIM enabled a new competition held at CVPR 2024, where 143 teams submitted 463 entries, resulting in several new insights. On a large set of challenging scenarios, we observe that simple methods with moderate compute requirements such as TransFuser can match recent large-scale end-to-end driving architectures such as UniAD. Our modular framework can potentially be extended with new datasets, data curation strategies, and metrics, and will be continually maintained to host future challenges. Our code is available at https://github.com/autonomousvision/navsim.

NAVSIM: Simulazione e Benchmarking Non Reattivo di Veicoli Autonomi Basati su Dati

NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking

Abstract

Support