POGEMA: Una Plataforma de Referencia para la Navegación Cooperativa de Múltiples Agentes

POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation

July 20, 2024

Autores: Alexey Skrynnik, Anton Andreychuk, Anatolii Borzilov, Alexander Chernyavskiy, Konstantin Yakovlev, Aleksandr Panov

cs.AI

Resumen

El aprendizaje por refuerzo multiagente (MARL) ha destacado recientemente en la resolución de desafiantes problemas cooperativos y competitivos de múltiples agentes en diversos entornos, principalmente con pocos agentes y observabilidad completa. Además, una variedad de tareas cruciales relacionadas con la robótica, como la navegación y evasión de obstáculos de múltiples robots, que tradicionalmente se abordaban con métodos no aprendibles clásicos (por ejemplo, búsqueda heurística), actualmente se sugiere que se resuelvan mediante métodos basados en el aprendizaje o híbridos. Sin embargo, en este ámbito, es difícil, por no decir imposible, realizar una comparación justa entre enfoques clásicos, basados en el aprendizaje y híbridos debido a la falta de un marco unificado que admita tanto el aprendizaje como la evaluación. Con este fin, presentamos POGEMA, un conjunto de herramientas completo que incluye un entorno rápido para el aprendizaje, un generador de instancias de problemas, la colección de instancias predefinidas, un kit de visualización y una herramienta de evaluación que permite la evaluación automatizada. Introducimos y especificamos un protocolo de evaluación que define una variedad de métricas relacionadas con el dominio, calculadas sobre la base de los indicadores de evaluación principales (como la tasa de éxito y la longitud del camino), lo que permite una comparación justa y múltiple. Se presentan los resultados de dicha comparación, que involucra una variedad de métodos MARL, basados en búsqueda y híbridos de última generación.

English

Multi-agent reinforcement learning (MARL) has recently excelled in solving challenging cooperative and competitive multi-agent problems in various environments with, mostly, few agents and full observability. Moreover, a range of crucial robotics-related tasks, such as multi-robot navigation and obstacle avoidance, that have been conventionally approached with the classical non-learnable methods (e.g., heuristic search) is currently suggested to be solved by the learning-based or hybrid methods. Still, in this domain, it is hard, not to say impossible, to conduct a fair comparison between classical, learning-based, and hybrid approaches due to the lack of a unified framework that supports both learning and evaluation. To this end, we introduce POGEMA, a set of comprehensive tools that includes a fast environment for learning, a generator of problem instances, the collection of pre-defined ones, a visualization toolkit, and a benchmarking tool that allows automated evaluation. We introduce and specify an evaluation protocol defining a range of domain-related metrics computed on the basics of the primary evaluation indicators (such as success rate and path length), allowing a fair multi-fold comparison. The results of such a comparison, which involves a variety of state-of-the-art MARL, search-based, and hybrid methods, are presented.