POGEMA: Een Benchmarkplatform voor Coöperatieve Navigatie van Multi-Agent Systemen
POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation
July 20, 2024
Auteurs: Alexey Skrynnik, Anton Andreychuk, Anatolii Borzilov, Alexander Chernyavskiy, Konstantin Yakovlev, Aleksandr Panov
cs.AI
Samenvatting
Multi-agent reinforcement learning (MARL) heeft recentelijk uitblinkende resultaten geboekt bij het oplossen van uitdagende coöperatieve en competitieve multi-agent problemen in diverse omgevingen, meestal met een beperkt aantal agents en volledige observeerbaarheid. Bovendien wordt voorgesteld om een reeks cruciale robotica-gerelateerde taken, zoals multi-robot navigatie en obstakelvermijding, die traditioneel werden benaderd met klassieke niet-leerbare methoden (bijvoorbeeld heuristische zoekalgoritmen), nu op te lossen met op leren gebaseerde of hybride methoden. Desalniettemin is het in dit domein moeilijk, zo niet onmogelijk, om een eerlijke vergelijking te maken tussen klassieke, op leren gebaseerde en hybride benaderingen vanwege het ontbreken van een uniform raamwerk dat zowel leren als evaluatie ondersteunt. Daarom introduceren we POGEMA, een set van uitgebreide tools die een snelle omgeving voor leren omvat, een generator van probleeminstanties, een verzameling van vooraf gedefinieerde instanties, een visualisatietoolkit en een benchmarkingtool die geautomatiseerde evaluatie mogelijk maakt. We introduceren en specificeren een evaluatieprotocol dat een reeks domeingerelateerde metrieken definieert, berekend op basis van primaire evaluatie-indicatoren (zoals succespercentage en padlengte), wat een eerlijke veelzijdige vergelijking mogelijk maakt. De resultaten van een dergelijke vergelijking, waarbij een verscheidenheid aan state-of-the-art MARL, zoekgebaseerde en hybride methoden betrokken zijn, worden gepresenteerd.
English
Multi-agent reinforcement learning (MARL) has recently excelled in solving
challenging cooperative and competitive multi-agent problems in various
environments with, mostly, few agents and full observability. Moreover, a range
of crucial robotics-related tasks, such as multi-robot navigation and obstacle
avoidance, that have been conventionally approached with the classical
non-learnable methods (e.g., heuristic search) is currently suggested to be
solved by the learning-based or hybrid methods. Still, in this domain, it is
hard, not to say impossible, to conduct a fair comparison between classical,
learning-based, and hybrid approaches due to the lack of a unified framework
that supports both learning and evaluation. To this end, we introduce POGEMA, a
set of comprehensive tools that includes a fast environment for learning, a
generator of problem instances, the collection of pre-defined ones, a
visualization toolkit, and a benchmarking tool that allows automated
evaluation. We introduce and specify an evaluation protocol defining a range of
domain-related metrics computed on the basics of the primary evaluation
indicators (such as success rate and path length), allowing a fair multi-fold
comparison. The results of such a comparison, which involves a variety of
state-of-the-art MARL, search-based, and hybrid methods, are presented.