POGEMA: Платформа для оценки производительности в кооперативной многоагентной навигации

POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation

July 20, 2024

Авторы: Alexey Skrynnik, Anton Andreychuk, Anatolii Borzilov, Alexander Chernyavskiy, Konstantin Yakovlev, Aleksandr Panov

cs.AI

Аннотация

Многоагентное обучение с подкреплением (MARL) недавно проявило себя в решении сложных кооперативных и конкурентных многоагентных задач в различных средах, в основном, с небольшим числом агентов и полной наблюдаемостью. Более того, ряд важных задач, связанных с робототехникой, таких как многороботная навигация и избегание препятствий, которые традиционно решались с помощью классических немодифицируемых методов (например, эвристический поиск), в настоящее время предлагается решать с использованием методов на основе обучения или гибридных методов. Однако в этой области сложно, чтобы не сказать невозможно, провести справедливое сравнение между классическими, на основе обучения и гибридными подходами из-за отсутствия унифицированной платформы, поддерживающей как обучение, так и оценку. В этой связи мы представляем POGEMA, набор комплексных инструментов, который включает быструю среду для обучения, генератор экземпляров задач, коллекцию предопределенных экземпляров, набор инструментов для визуализации и инструмент для проведения бенчмаркинга, позволяющий автоматизированную оценку. Мы представляем и определяем протокол оценки, определяющий ряд метрик, связанных с областью, вычисляемых на основе основных показателей оценки (таких как процент успеха и длина пути), позволяющий справедливое многократное сравнение. Представлены результаты такого сравнения, включающие различные современные методы MARL, основанные на поиске и гибридные методы.

English

Multi-agent reinforcement learning (MARL) has recently excelled in solving challenging cooperative and competitive multi-agent problems in various environments with, mostly, few agents and full observability. Moreover, a range of crucial robotics-related tasks, such as multi-robot navigation and obstacle avoidance, that have been conventionally approached with the classical non-learnable methods (e.g., heuristic search) is currently suggested to be solved by the learning-based or hybrid methods. Still, in this domain, it is hard, not to say impossible, to conduct a fair comparison between classical, learning-based, and hybrid approaches due to the lack of a unified framework that supports both learning and evaluation. To this end, we introduce POGEMA, a set of comprehensive tools that includes a fast environment for learning, a generator of problem instances, the collection of pre-defined ones, a visualization toolkit, and a benchmarking tool that allows automated evaluation. We introduce and specify an evaluation protocol defining a range of domain-related metrics computed on the basics of the primary evaluation indicators (such as success rate and path length), allowing a fair multi-fold comparison. The results of such a comparison, which involves a variety of state-of-the-art MARL, search-based, and hybrid methods, are presented.