GPUDrive: Симуляция вождения на основе данных с множеством агентов на графическом процессоре со скоростью 1 миллион кадров в секунду.

GPUDrive: Data-driven, multi-agent driving simulation at 1 million FPS

August 2, 2024

Авторы: Saman Kazemkhani, Aarav Pandya, Daphne Cornelisse, Brennan Shacklett, Eugene Vinitsky

cs.AI

Аннотация

Алгоритмы обучения множества агентов успешно применялись для создания сверхчеловеческого планирования в широком спектре игр, однако оказали незначительное влияние на разработку развернутых многозадачных планировщиков. Одной из ключевых проблем при применении этих техник к многозадачному планированию является необходимость в миллиардах шагов опыта. Для возможности изучения многозадачного планирования на таком масштабе мы представляем GPUDrive - ускоренный с помощью GPU многозадачный симулятор, построенный на основе игрового движка Madrona, способный генерировать более миллиона шагов опыта в секунду. Функции наблюдения, вознаграждения и динамики написаны непосредственно на C++, что позволяет пользователям определять сложные, гетерогенные поведенческие модели агентов, которые затем оптимизируются для высокой производительности с помощью CUDA. Мы показываем, что с использованием GPUDrive мы можем эффективно обучать агентов с подкреплением на множестве сцен в наборе данных Waymo Motion, получая высокоэффективных агентов, достигающих целей в течение нескольких минут для отдельных сцен и в целом способных агентов за несколько часов. Мы предоставляем эти обученные агенты в составе исходного кода на https://github.com/Emerge-Lab/gpudrive.

English

Multi-agent learning algorithms have been successful at generating superhuman planning in a wide variety of games but have had little impact on the design of deployed multi-agent planners. A key bottleneck in applying these techniques to multi-agent planning is that they require billions of steps of experience. To enable the study of multi-agent planning at this scale, we present GPUDrive, a GPU-accelerated, multi-agent simulator built on top of the Madrona Game Engine that can generate over a million steps of experience per second. Observation, reward, and dynamics functions are written directly in C++, allowing users to define complex, heterogeneous agent behaviors that are lowered to high-performance CUDA. We show that using GPUDrive we are able to effectively train reinforcement learning agents over many scenes in the Waymo Motion dataset, yielding highly effective goal-reaching agents in minutes for individual scenes and generally capable agents in a few hours. We ship these trained agents as part of the code base at https://github.com/Emerge-Lab/gpudrive.