GPUDrive: Data-gestuurde, multi-agent rijsimulatie met 1 miljoen FPS

GPUDrive: Data-driven, multi-agent driving simulation at 1 million FPS

August 2, 2024

Auteurs: Saman Kazemkhani, Aarav Pandya, Daphne Cornelisse, Brennan Shacklett, Eugene Vinitsky

cs.AI

Samenvatting

Multi-agent leer-algoritmen zijn succesvol geweest in het genereren van supermenselijke planning in een breed scala aan spellen, maar hebben weinig impact gehad op het ontwerp van geïmplementeerde multi-agent planners. Een belangrijk knelpunt bij het toepassen van deze technieken op multi-agent planning is dat ze miljarden stappen ervaring vereisen. Om de studie van multi-agent planning op deze schaal mogelijk te maken, presenteren we GPUDrive, een GPU-versnelde, multi-agent simulator gebouwd bovenop de Madrona Game Engine die meer dan een miljoen stappen ervaring per seconde kan genereren. Observatie-, belonings- en dynamiekfuncties worden rechtstreeks in C++ geschreven, waardoor gebruikers complexe, heterogene agentgedragingen kunnen definiëren die worden omgezet naar hoogwaardige CUDA. We laten zien dat we met GPUDrive effectief reinforcement learning-agenten kunnen trainen over vele scenario's in de Waymo Motion-dataset, wat resulteert in zeer effectieve doelbereikende agenten in minuten voor individuele scenario's en algemeen capabele agenten in een paar uur. We leveren deze getrainde agenten mee als onderdeel van de codebase op https://github.com/Emerge-Lab/gpudrive.

English

Multi-agent learning algorithms have been successful at generating superhuman planning in a wide variety of games but have had little impact on the design of deployed multi-agent planners. A key bottleneck in applying these techniques to multi-agent planning is that they require billions of steps of experience. To enable the study of multi-agent planning at this scale, we present GPUDrive, a GPU-accelerated, multi-agent simulator built on top of the Madrona Game Engine that can generate over a million steps of experience per second. Observation, reward, and dynamics functions are written directly in C++, allowing users to define complex, heterogeneous agent behaviors that are lowered to high-performance CUDA. We show that using GPUDrive we are able to effectively train reinforcement learning agents over many scenes in the Waymo Motion dataset, yielding highly effective goal-reaching agents in minutes for individual scenes and generally capable agents in a few hours. We ship these trained agents as part of the code base at https://github.com/Emerge-Lab/gpudrive.