GPUDrive: Simulación de conducción basada en datos y multiagente a 1 millón de FPS.

GPUDrive: Data-driven, multi-agent driving simulation at 1 million FPS

August 2, 2024

Autores: Saman Kazemkhani, Aarav Pandya, Daphne Cornelisse, Brennan Shacklett, Eugene Vinitsky

cs.AI

Resumen

Los algoritmos de aprendizaje multiagente han tenido éxito en generar planificación superhumana en una amplia variedad de juegos, pero han tenido poco impacto en el diseño de planificadores multiagente implementados. Un cuello de botella clave en la aplicación de estas técnicas a la planificación multiagente es que requieren miles de millones de pasos de experiencia. Para permitir el estudio de la planificación multiagente a esta escala, presentamos GPUDrive, un simulador multiagente acelerado por GPU construido sobre el Motor de Juegos Madrona que puede generar más de un millón de pasos de experiencia por segundo. Las funciones de observación, recompensa y dinámica están escritas directamente en C++, lo que permite a los usuarios definir comportamientos de agentes complejos y heterogéneos que se traducen a CUDA de alto rendimiento. Mostramos que al utilizar GPUDrive podemos entrenar de manera efectiva agentes de aprendizaje por refuerzo en muchas escenas en el conjunto de datos de Movimiento de Waymo, obteniendo agentes altamente efectivos para alcanzar objetivos en minutos para escenas individuales y agentes generalmente capaces en unas pocas horas. Distribuimos estos agentes entrenados como parte del código base en https://github.com/Emerge-Lab/gpudrive.

English

Multi-agent learning algorithms have been successful at generating superhuman planning in a wide variety of games but have had little impact on the design of deployed multi-agent planners. A key bottleneck in applying these techniques to multi-agent planning is that they require billions of steps of experience. To enable the study of multi-agent planning at this scale, we present GPUDrive, a GPU-accelerated, multi-agent simulator built on top of the Madrona Game Engine that can generate over a million steps of experience per second. Observation, reward, and dynamics functions are written directly in C++, allowing users to define complex, heterogeneous agent behaviors that are lowered to high-performance CUDA. We show that using GPUDrive we are able to effectively train reinforcement learning agents over many scenes in the Waymo Motion dataset, yielding highly effective goal-reaching agents in minutes for individual scenes and generally capable agents in a few hours. We ship these trained agents as part of the code base at https://github.com/Emerge-Lab/gpudrive.