POGEMA: Una Piattaforma di Benchmark per la Navigazione Cooperativa di Multi-Agenti
POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation
July 20, 2024
Autori: Alexey Skrynnik, Anton Andreychuk, Anatolii Borzilov, Alexander Chernyavskiy, Konstantin Yakovlev, Aleksandr Panov
cs.AI
Abstract
L'apprendimento per rinforzo multi-agente (MARL) ha recentemente eccelso nel risolvere complessi problemi cooperativi e competitivi in ambienti multi-agente, prevalentemente con pochi agenti e osservabilità completa. Inoltre, una serie di cruciali compiti legati alla robotica, come la navigazione multi-robot e l'evitamento degli ostacoli, tradizionalmente affrontati con metodi classici non apprendibili (ad esempio, ricerca euristica), sono attualmente suggeriti di essere risolti con metodi basati sull'apprendimento o ibridi. Tuttavia, in questo dominio, è difficile, per non dire impossibile, condurre un confronto equo tra approcci classici, basati sull'apprendimento e ibridi a causa della mancanza di un framework unificato che supporti sia l'apprendimento che la valutazione. A tal fine, introduciamo POGEMA, un insieme di strumenti completi che include un ambiente veloce per l'apprendimento, un generatore di istanze di problemi, una raccolta di quelle predefinite, un toolkit di visualizzazione e uno strumento di benchmarking che consente una valutazione automatizzata. Introduciamo e specifichiamo un protocollo di valutazione che definisce una gamma di metriche relative al dominio calcolate sulla base degli indicatori di valutazione primari (come il tasso di successo e la lunghezza del percorso), consentendo un confronto equo e multidimensionale. Vengono presentati i risultati di tale confronto, che coinvolge una varietà di metodi MARL all'avanguardia, basati sulla ricerca e ibridi.
English
Multi-agent reinforcement learning (MARL) has recently excelled in solving
challenging cooperative and competitive multi-agent problems in various
environments with, mostly, few agents and full observability. Moreover, a range
of crucial robotics-related tasks, such as multi-robot navigation and obstacle
avoidance, that have been conventionally approached with the classical
non-learnable methods (e.g., heuristic search) is currently suggested to be
solved by the learning-based or hybrid methods. Still, in this domain, it is
hard, not to say impossible, to conduct a fair comparison between classical,
learning-based, and hybrid approaches due to the lack of a unified framework
that supports both learning and evaluation. To this end, we introduce POGEMA, a
set of comprehensive tools that includes a fast environment for learning, a
generator of problem instances, the collection of pre-defined ones, a
visualization toolkit, and a benchmarking tool that allows automated
evaluation. We introduce and specify an evaluation protocol defining a range of
domain-related metrics computed on the basics of the primary evaluation
indicators (such as success rate and path length), allowing a fair multi-fold
comparison. The results of such a comparison, which involves a variety of
state-of-the-art MARL, search-based, and hybrid methods, are presented.