オフラインマルチエージェント強化学習においてデータを中心に据える

Putting Data at the Centre of Offline Multi-Agent Reinforcement Learning

September 18, 2024

著者: Claude Formanek, Louise Beyers, Callum Rhys Tilbury, Jonathan P. Shock, Arnu Pretorius

cs.AI

要旨

オフラインのマルチエージェント強化学習（MARL）は、静的データセットを使用して、マルチエージェントシステムの最適制御ポリシーを見つける研究の興味深い方向です。この分野はデータ駆動型であると定義されていますが、これまでの取り組みは最先端の結果を達成するためにデータを無視してきました。まず、文献を調査することで、この主張を裏付けます。ほとんどの研究が自身のデータセットを生成しており、一貫した方法論が欠如しており、これらのデータセットの特性についてわずかな情報しか提供していないことを示します。次に、データの性質を無視することが問題である理由を、アルゴリズムのパフォーマンスが使用されるデータセットに密接に結びついているという顕著な例を挙げて示し、この分野の実験のための共通の基盤が必要であることを説明します。これに対応して、オフラインMARLにおけるデータの使用とデータの認識の向上に向けて大きな一歩を踏み出し、以下の3つの重要な貢献を行います：（1）新しいデータセットを生成するための明確なガイドライン、（2）80以上の既存のデータセットの標準化、一貫した保存形式と使いやすいAPIを使用し、公開リポジトリにホストされる、（3）これらのデータセットをよりよく理解するための分析ツールのスイートを提供し、さらなる開発を支援します。

English

Offline multi-agent reinforcement learning (MARL) is an exciting direction of research that uses static datasets to find optimal control policies for multi-agent systems. Though the field is by definition data-driven, efforts have thus far neglected data in their drive to achieve state-of-the-art results. We first substantiate this claim by surveying the literature, showing how the majority of works generate their own datasets without consistent methodology and provide sparse information about the characteristics of these datasets. We then show why neglecting the nature of the data is problematic, through salient examples of how tightly algorithmic performance is coupled to the dataset used, necessitating a common foundation for experiments in the field. In response, we take a big step towards improving data usage and data awareness in offline MARL, with three key contributions: (1) a clear guideline for generating novel datasets; (2) a standardisation of over 80 existing datasets, hosted in a publicly available repository, using a consistent storage format and easy-to-use API; and (3) a suite of analysis tools that allow us to understand these datasets better, aiding further development.