POGEMA：協調型マルチエージェントナビゲーションのためのベンチマークプラットフォーム

POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation

July 20, 2024

著者: Alexey Skrynnik, Anton Andreychuk, Anatolii Borzilov, Alexander Chernyavskiy, Konstantin Yakovlev, Aleksandr Panov

cs.AI

要旨

マルチエージェント強化学習（MARL）は最近、主に少数のエージェントと完全な観測性を持つ様々な環境において、協調的および競争的なマルチエージェント問題の解決に優れた成果を上げています。さらに、多ロボットナビゲーションや障害物回避といった、従来は古典的な非学習型手法（例：ヒューリスティック探索）でアプローチされてきた重要なロボティクス関連タスクが、現在では学習ベースまたはハイブリッド手法によって解決されることが提案されています。しかし、この領域では、学習と評価の両方をサポートする統一されたフレームワークの欠如により、古典的手法、学習ベース手法、ハイブリッド手法の間で公平な比較を行うことは困難であり、不可能と言っても過言ではありません。この目的のために、我々はPOGEMAを紹介します。POGEMAは、学習のための高速環境、問題インスタンスのジェネレータ、事前定義されたインスタンスのコレクション、可視化ツールキット、自動評価を可能にするベンチマーキングツールを含む包括的なツールセットです。我々は、主要な評価指標（成功率や経路長など）に基づいて計算される一連のドメイン関連メトリクスを定義する評価プロトコルを導入し、公平な多面的な比較を可能にします。この比較の結果、様々な最先端のMARL、探索ベース、ハイブリッド手法が含まれています。

English

Multi-agent reinforcement learning (MARL) has recently excelled in solving challenging cooperative and competitive multi-agent problems in various environments with, mostly, few agents and full observability. Moreover, a range of crucial robotics-related tasks, such as multi-robot navigation and obstacle avoidance, that have been conventionally approached with the classical non-learnable methods (e.g., heuristic search) is currently suggested to be solved by the learning-based or hybrid methods. Still, in this domain, it is hard, not to say impossible, to conduct a fair comparison between classical, learning-based, and hybrid approaches due to the lack of a unified framework that supports both learning and evaluation. To this end, we introduce POGEMA, a set of comprehensive tools that includes a fast environment for learning, a generator of problem instances, the collection of pre-defined ones, a visualization toolkit, and a benchmarking tool that allows automated evaluation. We introduce and specify an evaluation protocol defining a range of domain-related metrics computed on the basics of the primary evaluation indicators (such as success rate and path length), allowing a fair multi-fold comparison. The results of such a comparison, which involves a variety of state-of-the-art MARL, search-based, and hybrid methods, are presented.