TAG: Een Gedecentraliseerd Raamwerk voor Hiërarchisch Reinforcement Learning met Meerdere Agenten

TAG: A Decentralized Framework for Multi-Agent Hierarchical Reinforcement Learning

February 21, 2025

Auteurs: Giuseppe Paolo, Abdelhakim Benechehab, Hamza Cherkaoui, Albert Thomas, Balázs Kégl

cs.AI

Samenvatting

Hiërarchische organisatie is fundamenteel voor biologische systemen en menselijke samenlevingen, maar kunstmatige intelligentiesystemen vertrouwen vaak op monolithische architecturen die de aanpasbaarheid en schaalbaarheid beperken. Huidige benaderingen van hiërarchisch reinforcement learning (HRL) beperken hiërarchieën doorgaans tot twee niveaus of vereisen gecentraliseerde training, wat hun praktische toepasbaarheid beperkt. Wij introduceren het TAME Agent Framework (TAG), een raamwerk voor het construeren van volledig gedecentraliseerde hiërarchische multi-agent systemen. TAG maakt hiërarchieën van willekeurige diepte mogelijk door een nieuw LevelEnv-concept, dat elk hiërarchieniveau abstraheert als de omgeving voor de agenten erboven. Deze aanpak standaardiseert de informatiestroom tussen niveaus terwijl een losse koppeling behouden blijft, wat een naadloze integratie van diverse agenttypen mogelijk maakt. Wij demonstreren de effectiviteit van TAG door hiërarchische architecturen te implementeren die verschillende RL-agenten over meerdere niveaus combineren, wat resulteert in verbeterde prestaties ten opzichte van klassieke multi-agent RL-baselines op standaard benchmarks. Onze resultaten tonen aan dat gedecentraliseerde hiërarchische organisatie zowel de leersnelheid als de uiteindelijke prestaties verbetert, waardoor TAG zich positioneert als een veelbelovende richting voor schaalbare multi-agent systemen.

English

Hierarchical organization is fundamental to biological systems and human societies, yet artificial intelligence systems often rely on monolithic architectures that limit adaptability and scalability. Current hierarchical reinforcement learning (HRL) approaches typically restrict hierarchies to two levels or require centralized training, which limits their practical applicability. We introduce TAME Agent Framework (TAG), a framework for constructing fully decentralized hierarchical multi-agent systems.TAG enables hierarchies of arbitrary depth through a novel LevelEnv concept, which abstracts each hierarchy level as the environment for the agents above it. This approach standardizes information flow between levels while preserving loose coupling, allowing for seamless integration of diverse agent types. We demonstrate the effectiveness of TAG by implementing hierarchical architectures that combine different RL agents across multiple levels, achieving improved performance over classical multi-agent RL baselines on standard benchmarks. Our results show that decentralized hierarchical organization enhances both learning speed and final performance, positioning TAG as a promising direction for scalable multi-agent systems.