MOMAland: Eine Reihe von Referenzwerten für Multi-Objective Multi-Agent Verstärkungslernen

MOMAland: A Set of Benchmarks for Multi-Objective Multi-Agent Reinforcement Learning

July 23, 2024

Autoren: Florian Felten, Umut Ucak, Hicham Azmani, Gao Peng, Willem Röpke, Hendrik Baier, Patrick Mannion, Diederik M. Roijers, Jordan K. Terry, El-Ghazali Talbi, Grégoire Danoy, Ann Nowé, Roxana Rădulescu

cs.AI

Zusammenfassung

Viele anspruchsvolle Aufgaben wie die Verwaltung von Verkehrssystemen, Stromnetzen oder Lieferketten umfassen komplexe Entscheidungsprozesse, die mehrere sich widersprechende Ziele ausbalancieren und die Handlungen verschiedener unabhängiger Entscheidungsträger koordinieren müssen. Eine Perspektive zur Formalisierung und Bewältigung solcher Aufgaben ist das Multi-Objective Multi-Agent Reinforcement Learning (MOMARL). MOMARL erweitert das Reinforcement Learning (RL) auf Probleme mit mehreren Agenten, von denen jeder mehrere Ziele in seinen Lernprozess einbeziehen muss. In der Forschung zum Reinforcement Learning sind Benchmarks entscheidend, um Fortschritte, Evaluationen und Reproduzierbarkeit zu erleichtern. Die Bedeutung von Benchmarks wird durch die Existenz zahlreicher Benchmark-Frameworks unterstrichen, die für verschiedene RL-Paradigmen entwickelt wurden, einschließlich Single-Agent RL (z. B. Gymnasium), Multi-Agent RL (z. B. PettingZoo) und Single-Agent Multi-Objective RL (z. B. MO-Gymnasium). Zur Unterstützung der Weiterentwicklung des MOMARL-Feldes stellen wir MOMAland vor, die erste Sammlung standardisierter Umgebungen für Multi-Objective Multi-Agent Reinforcement Learning. MOMAland deckt den Bedarf an umfassendem Benchmarking in diesem aufstrebenden Bereich ab und bietet über 10 verschiedene Umgebungen, die sich in der Anzahl der Agenten, Zustandsdarstellungen, Belohnungsstrukturen und Nutzenüberlegungen unterscheiden. Um starke Ausgangspunkte für zukünftige Forschung zu bieten, enthält MOMAland auch Algorithmen, die in der Lage sind, Richtlinien in solchen Umgebungen zu erlernen.

English

Many challenging tasks such as managing traffic systems, electricity grids, or supply chains involve complex decision-making processes that must balance multiple conflicting objectives and coordinate the actions of various independent decision-makers (DMs). One perspective for formalising and addressing such tasks is multi-objective multi-agent reinforcement learning (MOMARL). MOMARL broadens reinforcement learning (RL) to problems with multiple agents each needing to consider multiple objectives in their learning process. In reinforcement learning research, benchmarks are crucial in facilitating progress, evaluation, and reproducibility. The significance of benchmarks is underscored by the existence of numerous benchmark frameworks developed for various RL paradigms, including single-agent RL (e.g., Gymnasium), multi-agent RL (e.g., PettingZoo), and single-agent multi-objective RL (e.g., MO-Gymnasium). To support the advancement of the MOMARL field, we introduce MOMAland, the first collection of standardised environments for multi-objective multi-agent reinforcement learning. MOMAland addresses the need for comprehensive benchmarking in this emerging field, offering over 10 diverse environments that vary in the number of agents, state representations, reward structures, and utility considerations. To provide strong baselines for future research, MOMAland also includes algorithms capable of learning policies in such settings.