MOMAland: Een Set Benchmarks voor Multi-Objectief Multi-Agent Versterkend Leren

Samenvatting

Veel uitdagende taken, zoals het beheren van verkeerssystemen, elektriciteitsnetwerken of toeleveringsketens, omvatten complexe besluitvormingsprocessen die meerdere conflicterende doelstellingen in evenwicht moeten brengen en de acties van verschillende onafhankelijke besluitvormers (DMs) moeten coördineren. Een perspectief voor het formaliseren en aanpakken van dergelijke taken is multi-objective multi-agent reinforcement learning (MOMARL). MOMARL breidt reinforcement learning (RL) uit naar problemen met meerdere agents die elk meerdere doelstellingen moeten overwegen in hun leerproces. In onderzoek naar reinforcement learning zijn benchmarks cruciaal om vooruitgang, evaluatie en reproduceerbaarheid te faciliteren. Het belang van benchmarks wordt onderstreept door het bestaan van talrijke benchmarkframeworks die zijn ontwikkeld voor verschillende RL-paradigma's, waaronder single-agent RL (bijv. Gymnasium), multi-agent RL (bijv. PettingZoo) en single-agent multi-objective RL (bijv. MO-Gymnasium). Om de vooruitgang van het MOMARL-veld te ondersteunen, introduceren we MOMAland, de eerste verzameling gestandaardiseerde omgevingen voor multi-objective multi-agent reinforcement learning. MOMAland voorziet in de behoefte aan uitgebreide benchmarking in dit opkomende veld en biedt meer dan 10 diverse omgevingen die variëren in het aantal agents, staatrepresentaties, beloningsstructuren en nutsoverwegingen. Om sterke basislijnen te bieden voor toekomstig onderzoek, bevat MOMAland ook algoritmen die in staat zijn om beleidsregels te leren in dergelijke omgevingen.

English

Many challenging tasks such as managing traffic systems, electricity grids, or supply chains involve complex decision-making processes that must balance multiple conflicting objectives and coordinate the actions of various independent decision-makers (DMs). One perspective for formalising and addressing such tasks is multi-objective multi-agent reinforcement learning (MOMARL). MOMARL broadens reinforcement learning (RL) to problems with multiple agents each needing to consider multiple objectives in their learning process. In reinforcement learning research, benchmarks are crucial in facilitating progress, evaluation, and reproducibility. The significance of benchmarks is underscored by the existence of numerous benchmark frameworks developed for various RL paradigms, including single-agent RL (e.g., Gymnasium), multi-agent RL (e.g., PettingZoo), and single-agent multi-objective RL (e.g., MO-Gymnasium). To support the advancement of the MOMARL field, we introduce MOMAland, the first collection of standardised environments for multi-objective multi-agent reinforcement learning. MOMAland addresses the need for comprehensive benchmarking in this emerging field, offering over 10 diverse environments that vary in the number of agents, state representations, reward structures, and utility considerations. To provide strong baselines for future research, MOMAland also includes algorithms capable of learning policies in such settings.

MOMAland: Een Set Benchmarks voor Multi-Objectief Multi-Agent Versterkend Leren

MOMAland: A Set of Benchmarks for Multi-Objective Multi-Agent Reinforcement Learning

Samenvatting

Support