NAVSIM: Симуляция и оценка производительности автономных транспортных средств на основе данных без реакции.

NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking

June 21, 2024

Авторы: Daniel Dauner, Marcel Hallgarten, Tianyu Li, Xinshuo Weng, Zhiyu Huang, Zetong Yang, Hongyang Li, Igor Gilitschenski, Boris Ivanovic, Marco Pavone, Andreas Geiger, Kashyap Chitta

cs.AI

Аннотация

Оценка политик управления на основе зрительных данных представляет собой сложную задачу. С одной стороны, оценка с открытым циклом на реальных данных проста, но эти результаты не отражают производительность с закрытым циклом. С другой стороны, оценка с закрытым циклом возможна в симуляции, но ее сложно масштабировать из-за значительных вычислительных требований. Более того, существующие симуляторы сегодня имеют большой разрыв в домене по сравнению с реальными данными. Это привело к невозможности делать четкие выводы из быстро растущего объема исследований по автономному вождению end-to-end. В данной статье мы представляем NAVSIM, компромисс между этими парадигмами оценки, где мы используем большие наборы данных в сочетании с нереактивным симулятором для обеспечения масштабной оценки в реальном мире. Конкретно, мы собираем метрики на основе симуляции, такие как прогресс и время до столкновения, разворачивая абстракции обзора сверху тестовых сцен на коротком горизонте симуляции. Наша симуляция нереактивна, то есть оцениваемая политика и окружающая среда не взаимодействуют друг с другом. Как мы демонстрируем эмпирически, это разделение позволяет вычислять метрики с открытым циклом, сохраняя лучшую согласованность с оценками с закрытым циклом по сравнению с традиционными ошибками смещения. NAVSIM стал основой для нового соревнования, проведенного на CVPR 2024, где 143 команды представили 463 работы, что привело к нескольким новым идеям. На большом наборе сложных сценариев мы наблюдаем, что простые методы с умеренными вычислительными требованиями, такие как TransFuser, могут сравняться с недавними крупномасштабными архитектурами автономного вождения end-to-end, такими как UniAD. Наш модульный фреймворк потенциально может быть расширен новыми наборами данных, стратегиями курирования данных и метриками, и будет постоянно поддерживаться для проведения будущих вызовов. Наш код доступен по адресу https://github.com/autonomousvision/navsim.

English

Benchmarking vision-based driving policies is challenging. On one hand, open-loop evaluation with real data is easy, but these results do not reflect closed-loop performance. On the other, closed-loop evaluation is possible in simulation, but is hard to scale due to its significant computational demands. Further, the simulators available today exhibit a large domain gap to real data. This has resulted in an inability to draw clear conclusions from the rapidly growing body of research on end-to-end autonomous driving. In this paper, we present NAVSIM, a middle ground between these evaluation paradigms, where we use large datasets in combination with a non-reactive simulator to enable large-scale real-world benchmarking. Specifically, we gather simulation-based metrics, such as progress and time to collision, by unrolling bird's eye view abstractions of the test scenes for a short simulation horizon. Our simulation is non-reactive, i.e., the evaluated policy and environment do not influence each other. As we demonstrate empirically, this decoupling allows open-loop metric computation while being better aligned with closed-loop evaluations than traditional displacement errors. NAVSIM enabled a new competition held at CVPR 2024, where 143 teams submitted 463 entries, resulting in several new insights. On a large set of challenging scenarios, we observe that simple methods with moderate compute requirements such as TransFuser can match recent large-scale end-to-end driving architectures such as UniAD. Our modular framework can potentially be extended with new datasets, data curation strategies, and metrics, and will be continually maintained to host future challenges. Our code is available at https://github.com/autonomousvision/navsim.