NAVSIM: 데이터 기반 비반응형 자율주행 차량 시뮬레이션 및 벤치마킹

NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking

June 21, 2024

저자: Daniel Dauner, Marcel Hallgarten, Tianyu Li, Xinshuo Weng, Zhiyu Huang, Zetong Yang, Hongyang Li, Igor Gilitschenski, Boris Ivanovic, Marco Pavone, Andreas Geiger, Kashyap Chitta

cs.AI

초록

비전 기반 주행 정책을 벤치마킹하는 것은 어려운 과제입니다. 한편으로는 실제 데이터를 사용한 개방형 루프(open-loop) 평가는 쉽게 수행할 수 있지만, 이러한 결과는 폐쇄형 루프(closed-loop) 성능을 반영하지 못합니다. 다른 한편으로는 시뮬레이션에서 폐쇄형 루프 평가가 가능하지만, 상당한 계산 자원이 필요하기 때문에 대규모로 확장하기 어렵습니다. 더욱이 현재 사용 가능한 시뮬레이터는 실제 데이터와 큰 도메인 간극(domain gap)을 보입니다. 이로 인해 엔드투엔드(end-to-end) 자율 주행에 대한 빠르게 증가하는 연구 결과들로부터 명확한 결론을 도출하기 어려운 상황입니다. 본 논문에서는 이러한 평가 패러다임 사이의 중간 지점인 NAVSIM을 제안합니다. NAVSIM은 대규모 데이터셋과 비반응형(non-reactive) 시뮬레이터를 결합하여 대규모 실제 세계 벤치마킹을 가능하게 합니다. 구체적으로, 우리는 테스트 장면의 조감도(bird's eye view) 추상화를 짧은 시뮬레이션 기간 동안 전개하여 진행 상황(progress) 및 충돌까지의 시간(time to collision)과 같은 시뮬레이션 기반 메트릭을 수집합니다. 우리의 시뮬레이터는 비반응형으로, 평가 대상 정책과 환경이 서로 영향을 미치지 않습니다. 우리가 실증적으로 보여주듯이, 이러한 분리는 기존의 변위 오류(displacement errors)보다 폐쇄형 루프 평가와 더 잘 일치하면서도 개방형 루프 메트릭 계산을 가능하게 합니다. NAVSIM은 CVPR 2024에서 개최된 새로운 경쟁을 가능하게 했으며, 143개 팀이 463개의 제출물을 제출하여 여러 새로운 통찰을 얻었습니다. 대규모의 도전적인 시나리오에서 우리는 TransFuser와 같은 적당한 계산 자원을 요구하는 간단한 방법이 UniAD와 같은 최근의 대규모 엔드투엔드 주행 아키텍처와 맞먹을 수 있음을 관찰했습니다. 우리의 모듈형 프레임워크는 새로운 데이터셋, 데이터 큐레이션 전략, 그리고 메트릭으로 확장될 가능성이 있으며, 앞으로의 도전을 위해 지속적으로 유지될 것입니다. 우리의 코드는 https://github.com/autonomousvision/navsim에서 확인할 수 있습니다.

English

Benchmarking vision-based driving policies is challenging. On one hand, open-loop evaluation with real data is easy, but these results do not reflect closed-loop performance. On the other, closed-loop evaluation is possible in simulation, but is hard to scale due to its significant computational demands. Further, the simulators available today exhibit a large domain gap to real data. This has resulted in an inability to draw clear conclusions from the rapidly growing body of research on end-to-end autonomous driving. In this paper, we present NAVSIM, a middle ground between these evaluation paradigms, where we use large datasets in combination with a non-reactive simulator to enable large-scale real-world benchmarking. Specifically, we gather simulation-based metrics, such as progress and time to collision, by unrolling bird's eye view abstractions of the test scenes for a short simulation horizon. Our simulation is non-reactive, i.e., the evaluated policy and environment do not influence each other. As we demonstrate empirically, this decoupling allows open-loop metric computation while being better aligned with closed-loop evaluations than traditional displacement errors. NAVSIM enabled a new competition held at CVPR 2024, where 143 teams submitted 463 entries, resulting in several new insights. On a large set of challenging scenarios, we observe that simple methods with moderate compute requirements such as TransFuser can match recent large-scale end-to-end driving architectures such as UniAD. Our modular framework can potentially be extended with new datasets, data curation strategies, and metrics, and will be continually maintained to host future challenges. Our code is available at https://github.com/autonomousvision/navsim.