NAVSIM: Simulação e Avaliação de Veículos Autônomos Não-Reativos Baseada em Dados

Resumo

A avaliação de políticas de direção baseadas em visão é desafiadora. Por um lado, a avaliação em malha aberta com dados reais é fácil, mas esses resultados não refletem o desempenho em malha fechada. Por outro lado, a avaliação em malha fechada é possível em simulação, mas é difícil de escalar devido às suas significativas demandas computacionais. Além disso, os simuladores disponíveis hoje apresentam uma grande diferença de domínio em relação aos dados reais. Isso resultou na incapacidade de tirar conclusões claras do crescente corpo de pesquisas sobre direção autônoma de ponta a ponta. Neste artigo, apresentamos NAVSIM, um meio-termo entre esses paradigmas de avaliação, onde utilizamos grandes conjuntos de dados em combinação com um simulador não reativo para possibilitar benchmarking em larga escala do mundo real. Especificamente, coletamos métricas baseadas em simulação, como progresso e tempo até a colisão, desenrolando abstrações de visão aérea das cenas de teste por um curto horizonte de simulação. Nossa simulação é não reativa, ou seja, a política avaliada e o ambiente não se influenciam mutuamente. Como demonstramos empiricamente, esse desacoplamento permite a computação de métricas em malha aberta, ao mesmo tempo em que está mais alinhado com avaliações em malha fechada do que os tradicionais erros de deslocamento. NAVSIM possibilitou uma nova competição realizada na CVPR 2024, onde 143 equipes enviaram 463 inscrições, resultando em várias novas percepções. Em um amplo conjunto de cenários desafiadores, observamos que métodos simples com requisitos computacionais moderados, como TransFuser, podem se equiparar a arquiteturas recentes de direção de ponta a ponta em larga escala, como UniAD. Nosso framework modular pode ser potencialmente expandido com novos conjuntos de dados, estratégias de curadoria de dados e métricas, e será continuamente mantido para sediar desafios futuros. Nosso código está disponível em https://github.com/autonomousvision/navsim.

English

Benchmarking vision-based driving policies is challenging. On one hand, open-loop evaluation with real data is easy, but these results do not reflect closed-loop performance. On the other, closed-loop evaluation is possible in simulation, but is hard to scale due to its significant computational demands. Further, the simulators available today exhibit a large domain gap to real data. This has resulted in an inability to draw clear conclusions from the rapidly growing body of research on end-to-end autonomous driving. In this paper, we present NAVSIM, a middle ground between these evaluation paradigms, where we use large datasets in combination with a non-reactive simulator to enable large-scale real-world benchmarking. Specifically, we gather simulation-based metrics, such as progress and time to collision, by unrolling bird's eye view abstractions of the test scenes for a short simulation horizon. Our simulation is non-reactive, i.e., the evaluated policy and environment do not influence each other. As we demonstrate empirically, this decoupling allows open-loop metric computation while being better aligned with closed-loop evaluations than traditional displacement errors. NAVSIM enabled a new competition held at CVPR 2024, where 143 teams submitted 463 entries, resulting in several new insights. On a large set of challenging scenarios, we observe that simple methods with moderate compute requirements such as TransFuser can match recent large-scale end-to-end driving architectures such as UniAD. Our modular framework can potentially be extended with new datasets, data curation strategies, and metrics, and will be continually maintained to host future challenges. Our code is available at https://github.com/autonomousvision/navsim.

NAVSIM: Simulação e Avaliação de Veículos Autônomos Não-Reativos Baseada em Dados

NAVSIM: Data-Driven Non-Reactive Autonomous Vehicle Simulation and Benchmarking

Resumo

Support