TAG: Ein dezentralisiertes Framework für hierarchisches Multi-Agenten-Verstärkungslernen

TAG: A Decentralized Framework for Multi-Agent Hierarchical Reinforcement Learning

February 21, 2025

Autoren: Giuseppe Paolo, Abdelhakim Benechehab, Hamza Cherkaoui, Albert Thomas, Balázs Kégl

cs.AI

Zusammenfassung

Die hierarchische Organisation ist fundamental für biologische Systeme und menschliche Gesellschaften, doch künstliche Intelligenz-Systeme verlassen sich oft auf monolithische Architekturen, die Anpassungsfähigkeit und Skalierbarkeit einschränken. Aktuelle hierarchische Verstärkungslernansätze (HRL) beschränken Hierarchien in der Regel auf zwei Ebenen oder erfordern zentrales Training, was ihre praktische Anwendbarkeit einschränkt. Wir stellen das TAME Agent Framework (TAG) vor, ein Framework zur Konstruktion vollständig dezentraler hierarchischer Multi-Agenten-Systeme. TAG ermöglicht Hierarchien beliebiger Tiefe durch ein neuartiges Konzept der LevelEnv, das jede Hierarchieebene als Umgebung für die darüber liegenden Agenten abstrahiert. Dieser Ansatz standardisiert den Informationsfluss zwischen den Ebenen und bewahrt dabei lose Kopplung, was eine nahtlose Integration verschiedener Agententypen ermöglicht. Wir zeigen die Wirksamkeit von TAG, indem wir hierarchische Architekturen implementieren, die verschiedene RL-Agenten über mehrere Ebenen kombinieren und eine verbesserte Leistung gegenüber klassischen Multi-Agenten-RL-Benchmarks erzielen. Unsere Ergebnisse zeigen, dass die dezentrale hierarchische Organisation sowohl die Lerngeschwindigkeit als auch die endgültige Leistung verbessert und TAG als vielversprechende Richtung für skalierbare Multi-Agenten-Systeme positioniert.

English

Hierarchical organization is fundamental to biological systems and human societies, yet artificial intelligence systems often rely on monolithic architectures that limit adaptability and scalability. Current hierarchical reinforcement learning (HRL) approaches typically restrict hierarchies to two levels or require centralized training, which limits their practical applicability. We introduce TAME Agent Framework (TAG), a framework for constructing fully decentralized hierarchical multi-agent systems.TAG enables hierarchies of arbitrary depth through a novel LevelEnv concept, which abstracts each hierarchy level as the environment for the agents above it. This approach standardizes information flow between levels while preserving loose coupling, allowing for seamless integration of diverse agent types. We demonstrate the effectiveness of TAG by implementing hierarchical architectures that combine different RL agents across multiple levels, achieving improved performance over classical multi-agent RL baselines on standard benchmarks. Our results show that decentralized hierarchical organization enhances both learning speed and final performance, positioning TAG as a promising direction for scalable multi-agent systems.