NAVSIM: データ駆動型非リアクティブ自動運転車シミュレーションとベンチマーキング

要旨

視覚ベースの運転ポリシーのベンチマーキングは困難を伴います。一方で、実データを用いたオープンループ評価は容易ですが、その結果はクローズドループ性能を反映しません。他方で、シミュレーションにおけるクローズドループ評価は可能ですが、その計算負荷の大きさからスケールアップが困難です。さらに、現在利用可能なシミュレータは実データとの間に大きなドメインギャップを抱えています。これにより、エンドツーエンドの自動運転に関する急速に増加する研究から明確な結論を導き出すことができなくなっています。本論文では、これらの評価パラダイムの中間的な位置付けとしてNAVSIMを提案します。NAVSIMでは、大規模なデータセットと非反応型シミュレータを組み合わせることで、大規模な実世界ベンチマーキングを可能にします。具体的には、テストシーンの鳥瞰図抽象化を短いシミュレーションホライズンで展開し、進行度や衝突までの時間などのシミュレーションベースのメトリクスを収集します。私たちのシミュレーションは非反応型であり、評価対象のポリシーと環境が互いに影響を与えません。実証的に示すように、この分離により、従来の変位誤差よりもクローズドループ評価に近い形でオープンループメトリクスの計算が可能になります。NAVSIMはCVPR 2024で開催された新しいコンペティションを可能にし、143チームが463エントリーを提出し、いくつかの新しい知見が得られました。大規模で挑戦的なシナリオセットにおいて、TransFuserのような適度な計算リソースを必要とするシンプルな手法が、UniADのような最近の大規模エンドツーエンド運転アーキテクチャに匹敵することを観察しました。私たちのモジュール型フレームワークは、新しいデータセット、データキュレーション戦略、メトリクスで拡張可能であり、将来のチャレンジをホストするために継続的にメンテナンスされます。コードはhttps://github.com/autonomousvision/navsimで公開されています。

English

Benchmarking vision-based driving policies is challenging. On one hand, open-loop evaluation with real data is easy, but these results do not reflect closed-loop performance. On the other, closed-loop evaluation is possible in simulation, but is hard to scale due to its significant computational demands. Further, the simulators available today exhibit a large domain gap to real data. This has resulted in an inability to draw clear conclusions from the rapidly growing body of research on end-to-end autonomous driving. In this paper, we present NAVSIM, a middle ground between these evaluation paradigms, where we use large datasets in combination with a non-reactive simulator to enable large-scale real-world benchmarking. Specifically, we gather simulation-based metrics, such as progress and time to collision, by unrolling bird's eye view abstractions of the test scenes for a short simulation horizon. Our simulation is non-reactive, i.e., the evaluated policy and environment do not influence each other. As we demonstrate empirically, this decoupling allows open-loop metric computation while being better aligned with closed-loop evaluations than traditional displacement errors. NAVSIM enabled a new competition held at CVPR 2024, where 143 teams submitted 463 entries, resulting in several new insights. On a large set of challenging scenarios, we observe that simple methods with moderate compute requirements such as TransFuser can match recent large-scale end-to-end driving architectures such as UniAD. Our modular framework can potentially be extended with new datasets, data curation strategies, and metrics, and will be continually maintained to host future challenges. Our code is available at https://github.com/autonomousvision/navsim.

NAVSIM: データ駆動型非リアクティブ自動運転車シミュレーションとベンチマーキング

NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking

要旨

Support