Die Zentrierung von Daten im Offline-Multi-Agenten-Verstärkungslernen

Putting Data at the Centre of Offline Multi-Agent Reinforcement Learning

September 18, 2024

Autoren: Claude Formanek, Louise Beyers, Callum Rhys Tilbury, Jonathan P. Shock, Arnu Pretorius

cs.AI

Zusammenfassung

Offline Multi-Agent Reinforcement Learning (MARL) ist eine spannende Forschungsrichtung, die statische Datensätze verwendet, um optimale Steuerungsrichtlinien für Multi-Agenten-Systeme zu finden. Obwohl das Feld per Definition datengetrieben ist, haben bisherige Bemühungen Daten in ihrem Streben nach Spitzenleistungen vernachlässigt. Wir untermauern diese Behauptung zunächst durch eine Literaturübersicht, die zeigt, wie die Mehrheit der Arbeiten ihre eigenen Datensätze generiert, ohne konsistente Methodologie und nur spärliche Informationen über die Merkmale dieser Datensätze bereitstellt. Anschließend zeigen wir, warum die Vernachlässigung der Datenbeschaffenheit problematisch ist, anhand von anschaulichen Beispielen, wie eng die algorithmische Leistung mit dem verwendeten Datensatz verbunden ist, was eine gemeinsame Grundlage für Experimente in diesem Bereich erforderlich macht. Als Reaktion darauf gehen wir einen großen Schritt in Richtung Verbesserung der Datennutzung und Datenbewusstsein in Offline-MARL, mit drei wesentlichen Beiträgen: (1) eine klare Richtlinie zur Generierung neuer Datensätze; (2) eine Standardisierung von über 80 vorhandenen Datensätzen, die in einem öffentlich zugänglichen Repository gehostet werden, unter Verwendung eines konsistenten Speicherformats und einer benutzerfreundlichen API; und (3) eine Reihe von Analysetools, die es uns ermöglichen, diese Datensätze besser zu verstehen und so die weitere Entwicklung zu unterstützen.

English

Offline multi-agent reinforcement learning (MARL) is an exciting direction of research that uses static datasets to find optimal control policies for multi-agent systems. Though the field is by definition data-driven, efforts have thus far neglected data in their drive to achieve state-of-the-art results. We first substantiate this claim by surveying the literature, showing how the majority of works generate their own datasets without consistent methodology and provide sparse information about the characteristics of these datasets. We then show why neglecting the nature of the data is problematic, through salient examples of how tightly algorithmic performance is coupled to the dataset used, necessitating a common foundation for experiments in the field. In response, we take a big step towards improving data usage and data awareness in offline MARL, with three key contributions: (1) a clear guideline for generating novel datasets; (2) a standardisation of over 80 existing datasets, hosted in a publicly available repository, using a consistent storage format and easy-to-use API; and (3) a suite of analysis tools that allow us to understand these datasets better, aiding further development.