GPUDrive: 1백만 FPS에서의 데이터 기반 다중 에이전트 주행 시뮬레이션

초록

다중 에이전트 학습 알고리즘은 다양한 게임에서 초인간 수준의 계획을 생성하는 데 성공했지만, 배포된 다중 에이전트 플래너의 설계에는 거의 영향을 미치지 못했습니다. 이러한 기술을 다중 에이전트 계획에 적용하는 주요 병목 현상은 수십억 단계의 경험이 필요하다는 점입니다. 이 규모에서 다중 에이전트 계획을 연구할 수 있도록, Madrona 게임 엔진 위에 구축된 GPU 가속화 다중 에이전트 시뮬레이터인 GPUDrive를 제시합니다. 이 시뮬레이터는 초당 백만 단계 이상의 경험을 생성할 수 있습니다. 관측, 보상 및 동역학 함수는 C++로 직접 작성되어 복잡하고 이질적인 에이전트 행동을 정의할 수 있으며 이는 고성능 CUDA로 변환됩니다. GPUDrive를 사용하여 Waymo Motion 데이터셋의 여러 장면에서 강화 학습 에이전트를 효과적으로 훈련할 수 있음을 보여줍니다. 개별 장면에서 몇 분 안에 매우 효과적인 목표 달성 에이전트 및 일반적으로 능숙한 에이전트를 몇 시간 안에 얻을 수 있습니다. 이러한 훈련된 에이전트는 https://github.com/Emerge-Lab/gpudrive의 코드 베이스의 일부로 제공됩니다.

English

Multi-agent learning algorithms have been successful at generating superhuman planning in a wide variety of games but have had little impact on the design of deployed multi-agent planners. A key bottleneck in applying these techniques to multi-agent planning is that they require billions of steps of experience. To enable the study of multi-agent planning at this scale, we present GPUDrive, a GPU-accelerated, multi-agent simulator built on top of the Madrona Game Engine that can generate over a million steps of experience per second. Observation, reward, and dynamics functions are written directly in C++, allowing users to define complex, heterogeneous agent behaviors that are lowered to high-performance CUDA. We show that using GPUDrive we are able to effectively train reinforcement learning agents over many scenes in the Waymo Motion dataset, yielding highly effective goal-reaching agents in minutes for individual scenes and generally capable agents in a few hours. We ship these trained agents as part of the code base at https://github.com/Emerge-Lab/gpudrive.

GPUDrive: 1백만 FPS에서의 데이터 기반 다중 에이전트 주행 시뮬레이션

GPUDrive: Data-driven, multi-agent driving simulation at 1 million FPS

초록

Support