GPUDrive: Simulazione di guida multi-agente basata sui dati a 1 milione di FPS

GPUDrive: Data-driven, multi-agent driving simulation at 1 million FPS

August 2, 2024

Autori: Saman Kazemkhani, Aarav Pandya, Daphne Cornelisse, Brennan Shacklett, Eugene Vinitsky

cs.AI

Abstract

Gli algoritmi di apprendimento multi-agente hanno avuto successo nel generare pianificazioni sovrumane in una vasta gamma di giochi, ma hanno avuto un impatto limitato sulla progettazione di pianificatori multi-agente effettivamente implementati. Un collo di bottiglia chiave nell'applicazione di queste tecniche alla pianificazione multi-agente è che richiedono miliardi di passi di esperienza. Per consentire lo studio della pianificazione multi-agente su questa scala, presentiamo GPUDrive, un simulatore multi-agente accelerato da GPU, costruito su Madrona Game Engine, in grado di generare oltre un milione di passi di esperienza al secondo. Le funzioni di osservazione, ricompensa e dinamica sono scritte direttamente in C++, permettendo agli utenti di definire comportamenti complessi e eterogenei degli agenti che vengono poi convertiti in CUDA ad alte prestazioni. Dimostriamo che utilizzando GPUDrive siamo in grado di addestrare efficacemente agenti di apprendimento per rinforzo su molte scene del dataset Waymo Motion, ottenendo agenti altamente efficaci nel raggiungimento degli obiettivi in pochi minuti per singole scene e agenti generalmente capaci in poche ore. Forniamo questi agenti addestrati come parte della base di codice all'indirizzo https://github.com/Emerge-Lab/gpudrive.

English

Multi-agent learning algorithms have been successful at generating superhuman planning in a wide variety of games but have had little impact on the design of deployed multi-agent planners. A key bottleneck in applying these techniques to multi-agent planning is that they require billions of steps of experience. To enable the study of multi-agent planning at this scale, we present GPUDrive, a GPU-accelerated, multi-agent simulator built on top of the Madrona Game Engine that can generate over a million steps of experience per second. Observation, reward, and dynamics functions are written directly in C++, allowing users to define complex, heterogeneous agent behaviors that are lowered to high-performance CUDA. We show that using GPUDrive we are able to effectively train reinforcement learning agents over many scenes in the Waymo Motion dataset, yielding highly effective goal-reaching agents in minutes for individual scenes and generally capable agents in a few hours. We ship these trained agents as part of the code base at https://github.com/Emerge-Lab/gpudrive.