NAVSIM: Datengetriebene nicht-reagierende autonome Fahrzeugsimulation und Benchmarking

NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking

June 21, 2024

Autoren: Daniel Dauner, Marcel Hallgarten, Tianyu Li, Xinshuo Weng, Zhiyu Huang, Zetong Yang, Hongyang Li, Igor Gilitschenski, Boris Ivanovic, Marco Pavone, Andreas Geiger, Kashyap Chitta

cs.AI

Zusammenfassung

Das Benchmarking von auf Vision basierenden Fahrstrategien ist eine Herausforderung. Einerseits ist die Evaluierung im Open-Loop mit echten Daten einfach, aber diese Ergebnisse spiegeln nicht die Leistung im Closed-Loop wider. Andererseits ist die Evaluierung im Closed-Loop in der Simulation möglich, aber aufgrund des hohen Rechenaufwands schwer zu skalieren. Darüber hinaus weisen die heute verfügbaren Simulatoren eine große Domänenlücke zu echten Daten auf. Dies hat dazu geführt, dass aus dem rasant wachsenden Forschungsbereich des end-to-end autonomen Fahrens keine klaren Schlussfolgerungen gezogen werden können. In diesem Artikel präsentieren wir NAVSIM, einen Mittelweg zwischen diesen Evaluierungsparadigmen, bei dem wir große Datensätze in Kombination mit einem nicht reaktiven Simulator verwenden, um Benchmarking im großen Maßstab in der realen Welt zu ermöglichen. Konkret sammeln wir simulationsbasierte Metriken wie Fortschritt und Zeit bis zur Kollision, indem wir Vogelperspektivenabstraktionen der Testszenerien für einen kurzen Simulationshorizont entfalten. Unsere Simulation ist nicht reaktiv, d.h. die bewertete Richtlinie und Umgebung beeinflussen sich nicht gegenseitig. Wie wir empirisch zeigen, ermöglicht diese Entkopplung die Berechnung von Open-Loop-Metriken und ist besser auf Closed-Loop-Evaluierungen ausgerichtet als traditionelle Verschiebungsfehler. NAVSIM ermöglichte einen neuen Wettbewerb, der auf der CVPR 2024 stattfand, bei dem 143 Teams 463 Beiträge einreichten und zu mehreren neuen Erkenntnissen führte. In einer großen Anzahl von anspruchsvollen Szenarien beobachten wir, dass einfache Methoden mit moderaten Rechenanforderungen wie TransFuser mit aktuellen groß angelegten end-to-end-Fahrarchitekturen wie UniAD mithalten können. Unser modulares Framework kann potenziell um neue Datensätze, Datenkuratierungsstrategien und Metriken erweitert werden und wird kontinuierlich gewartet, um zukünftige Herausforderungen zu hosten. Unser Code ist verfügbar unter https://github.com/autonomousvision/navsim.

English

Benchmarking vision-based driving policies is challenging. On one hand, open-loop evaluation with real data is easy, but these results do not reflect closed-loop performance. On the other, closed-loop evaluation is possible in simulation, but is hard to scale due to its significant computational demands. Further, the simulators available today exhibit a large domain gap to real data. This has resulted in an inability to draw clear conclusions from the rapidly growing body of research on end-to-end autonomous driving. In this paper, we present NAVSIM, a middle ground between these evaluation paradigms, where we use large datasets in combination with a non-reactive simulator to enable large-scale real-world benchmarking. Specifically, we gather simulation-based metrics, such as progress and time to collision, by unrolling bird's eye view abstractions of the test scenes for a short simulation horizon. Our simulation is non-reactive, i.e., the evaluated policy and environment do not influence each other. As we demonstrate empirically, this decoupling allows open-loop metric computation while being better aligned with closed-loop evaluations than traditional displacement errors. NAVSIM enabled a new competition held at CVPR 2024, where 143 teams submitted 463 entries, resulting in several new insights. On a large set of challenging scenarios, we observe that simple methods with moderate compute requirements such as TransFuser can match recent large-scale end-to-end driving architectures such as UniAD. Our modular framework can potentially be extended with new datasets, data curation strategies, and metrics, and will be continually maintained to host future challenges. Our code is available at https://github.com/autonomousvision/navsim.