GPUDrive: Datengetriebene, Multi-Agenten-Fahrsimulation mit 1 Million FPS.

GPUDrive: Data-driven, multi-agent driving simulation at 1 million FPS

August 2, 2024

Autoren: Saman Kazemkhani, Aarav Pandya, Daphne Cornelisse, Brennan Shacklett, Eugene Vinitsky

cs.AI

Zusammenfassung

Multi-Agent-Lernalgorithmen waren erfolgreich bei der Erzeugung von übermenschlicher Planung in einer Vielzahl von Spielen, haben jedoch wenig Einfluss auf die Gestaltung von implementierten Multi-Agenten-Planern gehabt. Ein zentraler Engpass bei der Anwendung dieser Techniken auf Multi-Agenten-Planung ist, dass sie Milliarden von Erfahrungsschritten erfordern. Um die Untersuchung der Multi-Agenten-Planung in diesem Maßstab zu ermöglichen, präsentieren wir GPUDrive, einen auf GPUs beschleunigten Multi-Agenten-Simulator, der auf dem Madrona Game Engine aufbaut und über eine Million Erfahrungsschritte pro Sekunde generieren kann. Beobachtungs-, Belohnungs- und Dynamikfunktionen sind direkt in C++ geschrieben, was es den Benutzern ermöglicht, komplexe, heterogene Agentenverhalten zu definieren, die in leistungsstarkes CUDA umgewandelt werden. Wir zeigen, dass wir mit GPUDrive in der Lage sind, Verstärkungslernagenten effektiv über viele Szenen im Waymo Motion-Datensatz zu trainieren, wodurch hochwirksame Ziel-erreichende Agenten in Minuten für einzelne Szenen und im Allgemeinen fähige Agenten in wenigen Stunden entstehen. Diese trainierten Agenten werden als Teil des Code-Basissystems unter https://github.com/Emerge-Lab/gpudrive bereitgestellt.

English

Multi-agent learning algorithms have been successful at generating superhuman planning in a wide variety of games but have had little impact on the design of deployed multi-agent planners. A key bottleneck in applying these techniques to multi-agent planning is that they require billions of steps of experience. To enable the study of multi-agent planning at this scale, we present GPUDrive, a GPU-accelerated, multi-agent simulator built on top of the Madrona Game Engine that can generate over a million steps of experience per second. Observation, reward, and dynamics functions are written directly in C++, allowing users to define complex, heterogeneous agent behaviors that are lowered to high-performance CUDA. We show that using GPUDrive we are able to effectively train reinforcement learning agents over many scenes in the Waymo Motion dataset, yielding highly effective goal-reaching agents in minutes for individual scenes and generally capable agents in a few hours. We ship these trained agents as part of the code base at https://github.com/Emerge-Lab/gpudrive.