GPUDrive: Simulação de direção baseada em dados, multiagente a 1 milhão de FPS.

GPUDrive: Data-driven, multi-agent driving simulation at 1 million FPS

August 2, 2024

Autores: Saman Kazemkhani, Aarav Pandya, Daphne Cornelisse, Brennan Shacklett, Eugene Vinitsky

cs.AI

Resumo

Algoritmos de aprendizado multiagente têm sido bem-sucedidos na geração de planejamento super-humano em uma ampla variedade de jogos, mas tiveram pouco impacto no design de planejadores multiagente implantados. Um gargalo-chave na aplicação dessas técnicas ao planejamento multiagente é que elas requerem bilhões de passos de experiência. Para possibilitar o estudo do planejamento multiagente nessa escala, apresentamos o GPUDrive, um simulador multiagente acelerado por GPU construído sobre o Motor de Jogo Madrona que pode gerar mais de um milhão de passos de experiência por segundo. As funções de observação, recompensa e dinâmica são escritas diretamente em C++, permitindo aos usuários definir comportamentos complexos e heterogêneos de agentes que são convertidos para CUDA de alto desempenho. Mostramos que ao utilizar o GPUDrive somos capazes de treinar efetivamente agentes de aprendizado por reforço em muitas cenas no conjunto de dados de Movimento Waymo, produzindo agentes altamente eficazes na alcançar metas em minutos para cenas individuais e agentes geralmente capazes em algumas horas. Disponibilizamos esses agentes treinados como parte da base de código em https://github.com/Emerge-Lab/gpudrive.

English

Multi-agent learning algorithms have been successful at generating superhuman planning in a wide variety of games but have had little impact on the design of deployed multi-agent planners. A key bottleneck in applying these techniques to multi-agent planning is that they require billions of steps of experience. To enable the study of multi-agent planning at this scale, we present GPUDrive, a GPU-accelerated, multi-agent simulator built on top of the Madrona Game Engine that can generate over a million steps of experience per second. Observation, reward, and dynamics functions are written directly in C++, allowing users to define complex, heterogeneous agent behaviors that are lowered to high-performance CUDA. We show that using GPUDrive we are able to effectively train reinforcement learning agents over many scenes in the Waymo Motion dataset, yielding highly effective goal-reaching agents in minutes for individual scenes and generally capable agents in a few hours. We ship these trained agents as part of the code base at https://github.com/Emerge-Lab/gpudrive.