POGEMA: Eine Benchmark-Plattform für kooperative Multi-Agenten-Navigation

POGEMA: A Benchmark Platform for Cooperative Multi-Agent Navigation

July 20, 2024

Autoren: Alexey Skrynnik, Anton Andreychuk, Anatolii Borzilov, Alexander Chernyavskiy, Konstantin Yakovlev, Aleksandr Panov

cs.AI

Zusammenfassung

Das Multi-Agenten-Verstärkungslernen (MARL) hat in letzter Zeit bei der Lösung anspruchsvoller kooperativer und kompetitiver Multi-Agenten-Probleme in verschiedenen Umgebungen mit meist wenigen Agenten und vollständiger Beobachtbarkeit hervorragende Leistungen erbracht. Darüber hinaus wird vorgeschlagen, eine Reihe wichtiger robotikbezogener Aufgaben, wie die Navigation von Multi-Robotern und das Hindernisvermeidung, die bisher konventionell mit den klassischen nicht erlernbaren Methoden (z. B. heuristische Suche) angegangen wurden, nun mit lernbasierten oder hybriden Methoden zu lösen. Dennoch ist es in diesem Bereich schwer, wenn nicht sogar unmöglich, einen fairen Vergleich zwischen klassischen, lernbasierten und hybriden Ansätzen durchzuführen, aufgrund des Mangels an einem einheitlichen Rahmenwerk, das sowohl das Lernen als auch die Bewertung unterstützt. Zu diesem Zweck stellen wir POGEMA vor, eine Reihe umfassender Tools, die eine schnelle Lernumgebung, einen Generator von Probleminstanzen, die Sammlung vordefinierter Instanzen, ein Visualisierungstool und ein Benchmarking-Tool umfassen, das eine automatisierte Bewertung ermöglicht. Wir führen ein Bewertungsprotokoll ein und spezifizieren es, das eine Reihe domänenbezogener Metriken definiert, die auf den Grundlagen der primären Bewertungsindikatoren (wie Erfolgsrate und Pfadlänge) berechnet werden, um einen fairen mehrfachen Vergleich zu ermöglichen. Die Ergebnisse eines solchen Vergleichs, der eine Vielzahl modernster MARL-, suchbasierter und hybrider Methoden umfasst, werden präsentiert.

English

Multi-agent reinforcement learning (MARL) has recently excelled in solving challenging cooperative and competitive multi-agent problems in various environments with, mostly, few agents and full observability. Moreover, a range of crucial robotics-related tasks, such as multi-robot navigation and obstacle avoidance, that have been conventionally approached with the classical non-learnable methods (e.g., heuristic search) is currently suggested to be solved by the learning-based or hybrid methods. Still, in this domain, it is hard, not to say impossible, to conduct a fair comparison between classical, learning-based, and hybrid approaches due to the lack of a unified framework that supports both learning and evaluation. To this end, we introduce POGEMA, a set of comprehensive tools that includes a fast environment for learning, a generator of problem instances, the collection of pre-defined ones, a visualization toolkit, and a benchmarking tool that allows automated evaluation. We introduce and specify an evaluation protocol defining a range of domain-related metrics computed on the basics of the primary evaluation indicators (such as success rate and path length), allowing a fair multi-fold comparison. The results of such a comparison, which involves a variety of state-of-the-art MARL, search-based, and hybrid methods, are presented.