MOMAland: マルチエージェント強化学習のためのマルチ目的ベンチマークセット

MOMAland: A Set of Benchmarks for Multi-Objective Multi-Agent Reinforcement Learning

July 23, 2024

著者: Florian Felten, Umut Ucak, Hicham Azmani, Gao Peng, Willem Röpke, Hendrik Baier, Patrick Mannion, Diederik M. Roijers, Jordan K. Terry, El-Ghazali Talbi, Grégoire Danoy, Ann Nowé, Roxana Rădulescu

cs.AI

要旨

交通システム、電力網、サプライチェーンなどの多くの困難なタスクは、複数の相反する目的をバランスさせ、さまざまな独立した意思決定者（DMs）の行動を調整する必要がある複雑な意思決定プロセスを伴います。このようなタスクを形式化し、取り組むための一つの視点として、多目的多エージェント強化学習（MOMARL）があります。MOMARLは、強化学習（RL）を、各エージェントが学習プロセスで複数の目的を考慮する必要がある問題に拡張します。強化学習の研究において、ベンチマークは進歩、評価、再現性を促進する上で重要です。ベンチマークの重要性は、単一エージェントRL（例：Gymnasium）、多エージェントRL（例：PettingZoo）、単一エージェント多目的RL（例：MO-Gymnasium）など、さまざまなRLパラダイムのために開発された多数のベンチマークフレームワークの存在によって強調されています。MOMARL分野の発展を支援するために、我々はMOMAlandを紹介します。MOMAlandは、多目的多エージェント強化学習のための最初の標準化された環境コレクションです。MOMAlandは、この新興分野における包括的なベンチマークの必要性に対応し、エージェント数、状態表現、報酬構造、効用考慮事項が異なる10以上の多様な環境を提供します。将来の研究のための強力なベースラインを提供するために、MOMAlandはそのような設定でポリシーを学習できるアルゴリズムも含んでいます。

English

Many challenging tasks such as managing traffic systems, electricity grids, or supply chains involve complex decision-making processes that must balance multiple conflicting objectives and coordinate the actions of various independent decision-makers (DMs). One perspective for formalising and addressing such tasks is multi-objective multi-agent reinforcement learning (MOMARL). MOMARL broadens reinforcement learning (RL) to problems with multiple agents each needing to consider multiple objectives in their learning process. In reinforcement learning research, benchmarks are crucial in facilitating progress, evaluation, and reproducibility. The significance of benchmarks is underscored by the existence of numerous benchmark frameworks developed for various RL paradigms, including single-agent RL (e.g., Gymnasium), multi-agent RL (e.g., PettingZoo), and single-agent multi-objective RL (e.g., MO-Gymnasium). To support the advancement of the MOMARL field, we introduce MOMAland, the first collection of standardised environments for multi-objective multi-agent reinforcement learning. MOMAland addresses the need for comprehensive benchmarking in this emerging field, offering over 10 diverse environments that vary in the number of agents, state representations, reward structures, and utility considerations. To provide strong baselines for future research, MOMAland also includes algorithms capable of learning policies in such settings.