MOMAland: Un conjunto de referencias para el Aprendizaje por Refuerzo Multi-Objetivo Multi-Agente.

MOMAland: A Set of Benchmarks for Multi-Objective Multi-Agent Reinforcement Learning

July 23, 2024

Autores: Florian Felten, Umut Ucak, Hicham Azmani, Gao Peng, Willem Röpke, Hendrik Baier, Patrick Mannion, Diederik M. Roijers, Jordan K. Terry, El-Ghazali Talbi, Grégoire Danoy, Ann Nowé, Roxana Rădulescu

cs.AI

Resumen

Muchas tareas desafiantes, como la gestión de sistemas de tráfico, redes eléctricas o cadenas de suministro, implican procesos de toma de decisiones complejos que deben equilibrar múltiples objetivos conflictivos y coordinar las acciones de varios tomadores de decisiones independientes (DMs). Una perspectiva para formalizar y abordar tales tareas es el aprendizaje por refuerzo multiobjetivo multiagente (MOMARL). MOMARL amplía el aprendizaje por refuerzo (RL) a problemas con múltiples agentes, cada uno necesitando considerar múltiples objetivos en su proceso de aprendizaje. En la investigación de aprendizaje por refuerzo, los puntos de referencia son cruciales para facilitar el progreso, la evaluación y la reproducibilidad. La importancia de los puntos de referencia se subraya por la existencia de numerosos marcos de referencia desarrollados para varios paradigmas de RL, incluido RL de un solo agente (por ejemplo, Gymnasium), RL multiagente (por ejemplo, PettingZoo) y RL de un solo agente multiobjetivo (por ejemplo, MO-Gymnasium). Para apoyar el avance del campo de MOMARL, presentamos MOMAland, la primera colección de entornos estandarizados para el aprendizaje por refuerzo multiobjetivo multiagente. MOMAland aborda la necesidad de una evaluación integral en este campo emergente, ofreciendo más de 10 entornos diversos que varían en el número de agentes, representaciones de estado, estructuras de recompensa y consideraciones de utilidad. Para proporcionar líneas base sólidas para futuras investigaciones, MOMAland también incluye algoritmos capaces de aprender políticas en tales entornos.

English

Many challenging tasks such as managing traffic systems, electricity grids, or supply chains involve complex decision-making processes that must balance multiple conflicting objectives and coordinate the actions of various independent decision-makers (DMs). One perspective for formalising and addressing such tasks is multi-objective multi-agent reinforcement learning (MOMARL). MOMARL broadens reinforcement learning (RL) to problems with multiple agents each needing to consider multiple objectives in their learning process. In reinforcement learning research, benchmarks are crucial in facilitating progress, evaluation, and reproducibility. The significance of benchmarks is underscored by the existence of numerous benchmark frameworks developed for various RL paradigms, including single-agent RL (e.g., Gymnasium), multi-agent RL (e.g., PettingZoo), and single-agent multi-objective RL (e.g., MO-Gymnasium). To support the advancement of the MOMARL field, we introduce MOMAland, the first collection of standardised environments for multi-objective multi-agent reinforcement learning. MOMAland addresses the need for comprehensive benchmarking in this emerging field, offering over 10 diverse environments that vary in the number of agents, state representations, reward structures, and utility considerations. To provide strong baselines for future research, MOMAland also includes algorithms capable of learning policies in such settings.