GPUDrive : Simulation de conduite multi-agent pilotée par les données à 1 million d'images par seconde

GPUDrive: Data-driven, multi-agent driving simulation at 1 million FPS

August 2, 2024

Auteurs: Saman Kazemkhani, Aarav Pandya, Daphne Cornelisse, Brennan Shacklett, Eugene Vinitsky

cs.AI

Résumé

Les algorithmes d'apprentissage multi-agents ont réussi à générer des capacités de planification surhumaines dans une grande variété de jeux, mais ont eu peu d'impact sur la conception de planificateurs multi-agents déployés. Un goulot d'étranglement majeur dans l'application de ces techniques à la planification multi-agents est qu'elles nécessitent des milliards d'étapes d'expérience. Pour permettre l'étude de la planification multi-agents à cette échelle, nous présentons GPUDrive, un simulateur multi-agents accéléré par GPU, construit sur le moteur de jeu Madrona, capable de générer plus d'un million d'étapes d'expérience par seconde. Les fonctions d'observation, de récompense et de dynamique sont écrites directement en C++, permettant aux utilisateurs de définir des comportements d'agents complexes et hétérogènes qui sont ensuite traduits en CUDA haute performance. Nous montrons qu'en utilisant GPUDrive, nous pouvons entraîner efficacement des agents d'apprentissage par renforcement sur de nombreuses scènes du jeu de données Waymo Motion, produisant des agents hautement efficaces pour atteindre des objectifs en quelques minutes pour des scènes individuelles, et des agents généralement compétents en quelques heures. Nous livrons ces agents entraînés dans le cadre du code source disponible à l'adresse https://github.com/Emerge-Lab/gpudrive.

English

Multi-agent learning algorithms have been successful at generating superhuman planning in a wide variety of games but have had little impact on the design of deployed multi-agent planners. A key bottleneck in applying these techniques to multi-agent planning is that they require billions of steps of experience. To enable the study of multi-agent planning at this scale, we present GPUDrive, a GPU-accelerated, multi-agent simulator built on top of the Madrona Game Engine that can generate over a million steps of experience per second. Observation, reward, and dynamics functions are written directly in C++, allowing users to define complex, heterogeneous agent behaviors that are lowered to high-performance CUDA. We show that using GPUDrive we are able to effectively train reinforcement learning agents over many scenes in the Waymo Motion dataset, yielding highly effective goal-reaching agents in minutes for individual scenes and generally capable agents in a few hours. We ship these trained agents as part of the code base at https://github.com/Emerge-Lab/gpudrive.