MOMAland: Una serie di benchmark per il Reinforcement Learning Multi-Agente a Obiettivi Multipli

Abstract

Molte attività complesse come la gestione dei sistemi di traffico, delle reti elettriche o delle catene di approvvigionamento implicano processi decisionali articolati che devono bilanciare molteplici obiettivi conflittuali e coordinare le azioni di vari decisori indipendenti (DM). Una prospettiva per formalizzare e affrontare tali compiti è l'apprendimento per rinforzo multi-obiettivo e multi-agente (MOMARL). Il MOMARL estende l'apprendimento per rinforzo (RL) a problemi con più agenti, ciascuno dei quali deve considerare molteplici obiettivi nel proprio processo di apprendimento. Nella ricerca sull'apprendimento per rinforzo, i benchmark sono cruciali per facilitare il progresso, la valutazione e la riproducibilità. L'importanza dei benchmark è sottolineata dall'esistenza di numerosi framework di benchmark sviluppati per vari paradigmi di RL, tra cui RL a singolo agente (ad esempio, Gymnasium), RL multi-agente (ad esempio, PettingZoo) e RL multi-obiettivo a singolo agente (ad esempio, MO-Gymnasium). Per supportare l'avanzamento del campo del MOMARL, introduciamo MOMAland, la prima raccolta di ambienti standardizzati per l'apprendimento per rinforzo multi-obiettivo e multi-agente. MOMAland risponde alla necessità di benchmarking completo in questo campo emergente, offrendo oltre 10 ambienti diversificati che variano nel numero di agenti, nelle rappresentazioni degli stati, nelle strutture di ricompensa e nelle considerazioni di utilità. Per fornire solide basi per la ricerca futura, MOMAland include anche algoritmi in grado di apprendere politiche in tali contesti.

English

Many challenging tasks such as managing traffic systems, electricity grids, or supply chains involve complex decision-making processes that must balance multiple conflicting objectives and coordinate the actions of various independent decision-makers (DMs). One perspective for formalising and addressing such tasks is multi-objective multi-agent reinforcement learning (MOMARL). MOMARL broadens reinforcement learning (RL) to problems with multiple agents each needing to consider multiple objectives in their learning process. In reinforcement learning research, benchmarks are crucial in facilitating progress, evaluation, and reproducibility. The significance of benchmarks is underscored by the existence of numerous benchmark frameworks developed for various RL paradigms, including single-agent RL (e.g., Gymnasium), multi-agent RL (e.g., PettingZoo), and single-agent multi-objective RL (e.g., MO-Gymnasium). To support the advancement of the MOMARL field, we introduce MOMAland, the first collection of standardised environments for multi-objective multi-agent reinforcement learning. MOMAland addresses the need for comprehensive benchmarking in this emerging field, offering over 10 diverse environments that vary in the number of agents, state representations, reward structures, and utility considerations. To provide strong baselines for future research, MOMAland also includes algorithms capable of learning policies in such settings.

MOMAland: Una serie di benchmark per il Reinforcement Learning Multi-Agente a Obiettivi Multipli

MOMAland: A Set of Benchmarks for Multi-Objective Multi-Agent Reinforcement Learning

Abstract

Support