MOMAland : Un ensemble de références pour l'apprentissage par renforcement multi-agent à objectifs multiples

MOMAland: A Set of Benchmarks for Multi-Objective Multi-Agent Reinforcement Learning

July 23, 2024

Auteurs: Florian Felten, Umut Ucak, Hicham Azmani, Gao Peng, Willem Röpke, Hendrik Baier, Patrick Mannion, Diederik M. Roijers, Jordan K. Terry, El-Ghazali Talbi, Grégoire Danoy, Ann Nowé, Roxana Rădulescu

cs.AI

Résumé

De nombreuses tâches complexes, telles que la gestion des systèmes de transport, des réseaux électriques ou des chaînes d'approvisionnement, impliquent des processus de prise de décision complexes qui doivent équilibrer plusieurs objectifs conflictuels et coordonner les actions de divers décideurs indépendants (DMs). Une perspective pour formaliser et aborder de telles tâches est l'apprentissage par renforcement multi-objectif multi-agent (MOMARL). Le MOMARL étend l'apprentissage par renforcement (RL) à des problèmes impliquant plusieurs agents, chacun devant prendre en compte plusieurs objectifs dans son processus d'apprentissage. Dans la recherche en apprentissage par renforcement, les benchmarks sont essentiels pour faciliter les progrès, l'évaluation et la reproductibilité. L'importance des benchmarks est soulignée par l'existence de nombreux frameworks de benchmarks développés pour divers paradigmes de RL, notamment le RL mono-agent (par exemple, Gymnasium), le RL multi-agent (par exemple, PettingZoo) et le RL mono-agent multi-objectif (par exemple, MO-Gymnasium). Pour soutenir l'avancement du domaine du MOMARL, nous présentons MOMAland, la première collection d'environnements standardisés pour l'apprentissage par renforcement multi-objectif multi-agent. MOMAland répond au besoin de benchmarking complet dans ce domaine émergent, offrant plus de 10 environnements variés qui diffèrent par le nombre d'agents, les représentations d'état, les structures de récompense et les considérations d'utilité. Pour fournir des bases solides pour les recherches futures, MOMAland inclut également des algorithmes capables d'apprendre des politiques dans de tels contextes.

English

Many challenging tasks such as managing traffic systems, electricity grids, or supply chains involve complex decision-making processes that must balance multiple conflicting objectives and coordinate the actions of various independent decision-makers (DMs). One perspective for formalising and addressing such tasks is multi-objective multi-agent reinforcement learning (MOMARL). MOMARL broadens reinforcement learning (RL) to problems with multiple agents each needing to consider multiple objectives in their learning process. In reinforcement learning research, benchmarks are crucial in facilitating progress, evaluation, and reproducibility. The significance of benchmarks is underscored by the existence of numerous benchmark frameworks developed for various RL paradigms, including single-agent RL (e.g., Gymnasium), multi-agent RL (e.g., PettingZoo), and single-agent multi-objective RL (e.g., MO-Gymnasium). To support the advancement of the MOMARL field, we introduce MOMAland, the first collection of standardised environments for multi-objective multi-agent reinforcement learning. MOMAland addresses the need for comprehensive benchmarking in this emerging field, offering over 10 diverse environments that vary in the number of agents, state representations, reward structures, and utility considerations. To provide strong baselines for future research, MOMAland also includes algorithms capable of learning policies in such settings.