POGEMA : Une plateforme de référence pour la navigation coopérative multi-agents

POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation

July 20, 2024

Auteurs: Alexey Skrynnik, Anton Andreychuk, Anatolii Borzilov, Alexander Chernyavskiy, Konstantin Yakovlev, Aleksandr Panov

cs.AI

Résumé

L'apprentissage par renforcement multi-agent (MARL) a récemment excellé dans la résolution de problèmes multi-agents coopératifs et compétitifs complexes dans divers environnements, principalement avec un nombre limité d'agents et une observabilité complète. Par ailleurs, une gamme de tâches cruciales liées à la robotique, telles que la navigation multi-robots et l'évitement d'obstacles, traditionnellement abordées avec des méthodes classiques non-apprenantes (par exemple, la recherche heuristique), sont désormais suggérées pour être résolues par des méthodes basées sur l'apprentissage ou hybrides. Cependant, dans ce domaine, il est difficile, voire impossible, de réaliser une comparaison équitable entre les approches classiques, basées sur l'apprentissage et hybrides en raison de l'absence d'un cadre unifié qui supporte à la fois l'apprentissage et l'évaluation. À cette fin, nous présentons POGEMA, un ensemble d'outils complets qui inclut un environnement rapide pour l'apprentissage, un générateur d'instances de problèmes, une collection de problèmes prédéfinis, un kit de visualisation et un outil de benchmarking permettant une évaluation automatisée. Nous introduisons et spécifions un protocole d'évaluation définissant une gamme de métriques liées au domaine, calculées sur la base des indicateurs d'évaluation primaires (tels que le taux de réussite et la longueur du chemin), permettant une comparaison équitable et multidimensionnelle. Les résultats d'une telle comparaison, impliquant une variété de méthodes MARL, basées sur la recherche et hybrides de pointe, sont présentés.

English

Multi-agent reinforcement learning (MARL) has recently excelled in solving challenging cooperative and competitive multi-agent problems in various environments with, mostly, few agents and full observability. Moreover, a range of crucial robotics-related tasks, such as multi-robot navigation and obstacle avoidance, that have been conventionally approached with the classical non-learnable methods (e.g., heuristic search) is currently suggested to be solved by the learning-based or hybrid methods. Still, in this domain, it is hard, not to say impossible, to conduct a fair comparison between classical, learning-based, and hybrid approaches due to the lack of a unified framework that supports both learning and evaluation. To this end, we introduce POGEMA, a set of comprehensive tools that includes a fast environment for learning, a generator of problem instances, the collection of pre-defined ones, a visualization toolkit, and a benchmarking tool that allows automated evaluation. We introduce and specify an evaluation protocol defining a range of domain-related metrics computed on the basics of the primary evaluation indicators (such as success rate and path length), allowing a fair multi-fold comparison. The results of such a comparison, which involves a variety of state-of-the-art MARL, search-based, and hybrid methods, are presented.