NAVSIM: Data-gedreven niet-reactieve autonome voertuigsimulatie en benchmarking

Samenvatting

Het benchmarken van visiegestuurde rijbeleidsystemen is uitdagend. Enerzijds is open-loop evaluatie met echte data eenvoudig, maar deze resultaten weerspiegelen niet de prestaties in een gesloten systeem. Anderzijds is gesloten-loop evaluatie mogelijk in simulatie, maar moeilijk op te schalen vanwege de aanzienlijke rekenkundige eisen. Bovendien vertonen de huidige simulators een grote domeinkloof ten opzichte van echte data. Dit heeft geresulteerd in een onvermogen om duidelijke conclusies te trekken uit het snel groeiende onderzoeksveld van end-to-end autonoom rijden. In dit artikel presenteren we NAVSIM, een middenweg tussen deze evaluatieparadigma's, waarbij we grote datasets combineren met een niet-reactieve simulator om grootschalige benchmarking in de echte wereld mogelijk te maken. Specifiek verzamelen we simulatiegebaseerde metrieken, zoals voortgang en tijd tot botsing, door vogelvluchtabstracties van de testscènes uit te rollen voor een korte simulatiehorizon. Onze simulatie is niet-reactief, wat betekent dat het geëvalueerde beleid en de omgeving elkaar niet beïnvloeden. Zoals we empirisch aantonen, maakt deze ontkoppeling het mogelijk om open-loop metrieken te berekenen terwijl het beter aansluit bij gesloten-loop evaluaties dan traditionele verplaatsingsfouten. NAVSIM heeft een nieuwe competitie mogelijk gemaakt die werd gehouden op CVPR 2024, waar 143 teams 463 inzendingen indienden, wat resulteerde in verschillende nieuwe inzichten. Op een grote set van uitdagende scenario's observeren we dat eenvoudige methoden met matige rekenkundige eisen, zoals TransFuser, kunnen concurreren met recente grootschalige end-to-end rijarchitecturen zoals UniAD. Ons modulaire raamwerk kan mogelijk worden uitgebreid met nieuwe datasets, datacuratiestrategieën en metrieken, en zal voortdurend worden onderhouden om toekomstige uitdagingen te hosten. Onze code is beschikbaar op https://github.com/autonomousvision/navsim.

English

Benchmarking vision-based driving policies is challenging. On one hand, open-loop evaluation with real data is easy, but these results do not reflect closed-loop performance. On the other, closed-loop evaluation is possible in simulation, but is hard to scale due to its significant computational demands. Further, the simulators available today exhibit a large domain gap to real data. This has resulted in an inability to draw clear conclusions from the rapidly growing body of research on end-to-end autonomous driving. In this paper, we present NAVSIM, a middle ground between these evaluation paradigms, where we use large datasets in combination with a non-reactive simulator to enable large-scale real-world benchmarking. Specifically, we gather simulation-based metrics, such as progress and time to collision, by unrolling bird's eye view abstractions of the test scenes for a short simulation horizon. Our simulation is non-reactive, i.e., the evaluated policy and environment do not influence each other. As we demonstrate empirically, this decoupling allows open-loop metric computation while being better aligned with closed-loop evaluations than traditional displacement errors. NAVSIM enabled a new competition held at CVPR 2024, where 143 teams submitted 463 entries, resulting in several new insights. On a large set of challenging scenarios, we observe that simple methods with moderate compute requirements such as TransFuser can match recent large-scale end-to-end driving architectures such as UniAD. Our modular framework can potentially be extended with new datasets, data curation strategies, and metrics, and will be continually maintained to host future challenges. Our code is available at https://github.com/autonomousvision/navsim.

NAVSIM: Data-gedreven niet-reactieve autonome voertuigsimulatie en benchmarking

NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking

Samenvatting

Support