MOMAland: 다목적 다중 에이전트 강화 학습을 위한 벤치마크 세트

MOMAland: A Set of Benchmarks for Multi-Objective Multi-Agent Reinforcement Learning

July 23, 2024

저자: Florian Felten, Umut Ucak, Hicham Azmani, Gao Peng, Willem Röpke, Hendrik Baier, Patrick Mannion, Diederik M. Roijers, Jordan K. Terry, El-Ghazali Talbi, Grégoire Danoy, Ann Nowé, Roxana Rădulescu

cs.AI

초록

교통 시스템 관리, 전력망 운영, 공급망 관리와 같은 많은 복잡한 과제들은 상충되는 다중 목표를 균형 있게 조정하고 다양한 독립적인 의사결정자(DMs)들의 행동을 조율해야 하는 복잡한 의사결정 과정을 포함합니다. 이러한 과제를 공식화하고 해결하기 위한 한 가지 관점은 다중 목표 다중 에이전트 강화 학습(MOMARL)입니다. MOMARL은 강화 학습(RL)을 확장하여 각 에이전트가 학습 과정에서 다중 목표를 고려해야 하는 문제로 접근합니다. 강화 학습 연구에서 벤치마크는 진전, 평가, 재현성을 촉진하는 데 중요한 역할을 합니다. 이러한 벤치마크의 중요성은 단일 에이전트 RL(예: Gymnasium), 다중 에이전트 RL(예: PettingZoo), 단일 에이전트 다중 목표 RL(예: MO-Gymnasium) 등 다양한 RL 패러다임을 위한 수많은 벤치마크 프레임워크의 존재로 강조됩니다. MOMARL 분야의 발전을 지원하기 위해, 우리는 다중 목표 다중 에이전트 강화 학습을 위한 첫 번째 표준화된 환경 모음인 MOMAland를 소개합니다. MOMAland는 이 신흥 분야에서 포괄적인 벤치마킹의 필요성을 해결하며, 에이전트 수, 상태 표현, 보상 구조, 효용 고려 사항 등이 다양한 10개 이상의 환경을 제공합니다. 또한, MOMAland는 이러한 설정에서 정책을 학습할 수 있는 알고리즘을 포함하여 향후 연구를 위한 강력한 기준선을 제공합니다.

English

Many challenging tasks such as managing traffic systems, electricity grids, or supply chains involve complex decision-making processes that must balance multiple conflicting objectives and coordinate the actions of various independent decision-makers (DMs). One perspective for formalising and addressing such tasks is multi-objective multi-agent reinforcement learning (MOMARL). MOMARL broadens reinforcement learning (RL) to problems with multiple agents each needing to consider multiple objectives in their learning process. In reinforcement learning research, benchmarks are crucial in facilitating progress, evaluation, and reproducibility. The significance of benchmarks is underscored by the existence of numerous benchmark frameworks developed for various RL paradigms, including single-agent RL (e.g., Gymnasium), multi-agent RL (e.g., PettingZoo), and single-agent multi-objective RL (e.g., MO-Gymnasium). To support the advancement of the MOMARL field, we introduce MOMAland, the first collection of standardised environments for multi-objective multi-agent reinforcement learning. MOMAland addresses the need for comprehensive benchmarking in this emerging field, offering over 10 diverse environments that vary in the number of agents, state representations, reward structures, and utility considerations. To provide strong baselines for future research, MOMAland also includes algorithms capable of learning policies in such settings.