MOMAland: Набор бенчмарков для многокритериального многоагентного обучения с подкреплением.

MOMAland: A Set of Benchmarks for Multi-Objective Multi-Agent Reinforcement Learning

July 23, 2024

Авторы: Florian Felten, Umut Ucak, Hicham Azmani, Gao Peng, Willem Röpke, Hendrik Baier, Patrick Mannion, Diederik M. Roijers, Jordan K. Terry, El-Ghazali Talbi, Grégoire Danoy, Ann Nowé, Roxana Rădulescu

cs.AI

Аннотация

Многие сложные задачи, такие как управление транспортными системами, электросетями или цепочками поставок, включают в себя сложные процессы принятия решений, которые должны учитывать несколько конфликтующих целей и координировать действия различных независимых принимающих решения лиц (DMs). Один из подходов к формализации и решению таких задач - это многокритериальное многоагентное обучение с подкреплением (MOMARL). MOMARL расширяет обучение с подкреплением (RL) на проблемы с несколькими агентами, каждому из которых необходимо учитывать несколько целей в своем процессе обучения. В исследованиях по обучению с подкреплением, эталоны имеют важное значение для облегчения прогресса, оценки и воспроизводимости. Значимость эталонов подчеркивается наличием множества фреймворков эталонов, разработанных для различных парадигм RL, включая RL для одного агента (например, Gymnasium), RL для нескольких агентов (например, PettingZoo) и многокритериальное RL для одного агента (например, MO-Gymnasium). Для поддержки развития области MOMARL мы представляем MOMAland, первую коллекцию стандартизированных сред для многокритериального многоагентного обучения с подкреплением. MOMAland решает потребность в комплексной оценке в этом новом направлении, предлагая более 10 разнообразных сред, отличающихся числом агентов, представлением состояний, структурами вознаграждения и учетом полезности. Для обеспечения надежных базовых значений для будущих исследований, MOMAland также включает алгоритмы, способные обучаться политикам в таких условиях.

English

Many challenging tasks such as managing traffic systems, electricity grids, or supply chains involve complex decision-making processes that must balance multiple conflicting objectives and coordinate the actions of various independent decision-makers (DMs). One perspective for formalising and addressing such tasks is multi-objective multi-agent reinforcement learning (MOMARL). MOMARL broadens reinforcement learning (RL) to problems with multiple agents each needing to consider multiple objectives in their learning process. In reinforcement learning research, benchmarks are crucial in facilitating progress, evaluation, and reproducibility. The significance of benchmarks is underscored by the existence of numerous benchmark frameworks developed for various RL paradigms, including single-agent RL (e.g., Gymnasium), multi-agent RL (e.g., PettingZoo), and single-agent multi-objective RL (e.g., MO-Gymnasium). To support the advancement of the MOMARL field, we introduce MOMAland, the first collection of standardised environments for multi-objective multi-agent reinforcement learning. MOMAland addresses the need for comprehensive benchmarking in this emerging field, offering over 10 diverse environments that vary in the number of agents, state representations, reward structures, and utility considerations. To provide strong baselines for future research, MOMAland also includes algorithms capable of learning policies in such settings.