NAVSIM : Simulation et Benchmarking Non Réactifs de Véhicules Autonomes Basés sur les Données

NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking

June 21, 2024

Auteurs: Daniel Dauner, Marcel Hallgarten, Tianyu Li, Xinshuo Weng, Zhiyu Huang, Zetong Yang, Hongyang Li, Igor Gilitschenski, Boris Ivanovic, Marco Pavone, Andreas Geiger, Kashyap Chitta

cs.AI

Résumé

L'évaluation des politiques de conduite basées sur la vision présente des défis importants. D'un côté, l'évaluation en boucle ouverte avec des données réelles est simple, mais ces résultats ne reflètent pas les performances en boucle fermée. De l'autre, l'évaluation en boucle fermée est possible en simulation, mais elle est difficile à mettre à l'échelle en raison de ses exigences computationnelles importantes. De plus, les simulateurs disponibles aujourd'hui présentent un écart de domaine important par rapport aux données réelles. Cela a entraîné une incapacité à tirer des conclusions claires de l'ensemble croissant de recherches sur la conduite autonome de bout en bout. Dans cet article, nous présentons NAVSIM, un compromis entre ces paradigmes d'évaluation, où nous utilisons de grands ensembles de données en combinaison avec un simulateur non réactif pour permettre un benchmarking à grande échelle dans le monde réel. Plus précisément, nous collectons des métriques basées sur la simulation, telles que la progression et le temps avant collision, en déroulant des abstractions en vue aérienne des scènes de test pour un horizon de simulation court. Notre simulation est non réactive, c'est-à-dire que la politique évaluée et l'environnement n'influencent pas mutuellement. Comme nous le démontrons empiriquement, ce découplage permet le calcul de métriques en boucle ouverte tout en étant mieux aligné avec les évaluations en boucle fermée que les erreurs de déplacement traditionnelles. NAVSIM a permis l'organisation d'un nouveau concours tenu à CVPR 2024, où 143 équipes ont soumis 463 entrées, aboutissant à plusieurs nouvelles conclusions. Sur un large ensemble de scénarios difficiles, nous observons que des méthodes simples avec des exigences de calcul modérées, comme TransFuser, peuvent rivaliser avec les architectures récentes de conduite de bout en bout à grande échelle, telles que UniAD. Notre cadre modulaire peut potentiellement être étendu avec de nouveaux ensembles de données, des stratégies de curation de données et des métriques, et sera continuellement maintenu pour accueillir de futurs défis. Notre code est disponible à l'adresse https://github.com/autonomousvision/navsim.

English

Benchmarking vision-based driving policies is challenging. On one hand, open-loop evaluation with real data is easy, but these results do not reflect closed-loop performance. On the other, closed-loop evaluation is possible in simulation, but is hard to scale due to its significant computational demands. Further, the simulators available today exhibit a large domain gap to real data. This has resulted in an inability to draw clear conclusions from the rapidly growing body of research on end-to-end autonomous driving. In this paper, we present NAVSIM, a middle ground between these evaluation paradigms, where we use large datasets in combination with a non-reactive simulator to enable large-scale real-world benchmarking. Specifically, we gather simulation-based metrics, such as progress and time to collision, by unrolling bird's eye view abstractions of the test scenes for a short simulation horizon. Our simulation is non-reactive, i.e., the evaluated policy and environment do not influence each other. As we demonstrate empirically, this decoupling allows open-loop metric computation while being better aligned with closed-loop evaluations than traditional displacement errors. NAVSIM enabled a new competition held at CVPR 2024, where 143 teams submitted 463 entries, resulting in several new insights. On a large set of challenging scenarios, we observe that simple methods with moderate compute requirements such as TransFuser can match recent large-scale end-to-end driving architectures such as UniAD. Our modular framework can potentially be extended with new datasets, data curation strategies, and metrics, and will be continually maintained to host future challenges. Our code is available at https://github.com/autonomousvision/navsim.