TAG: Un Framework Decentralizzato per l'Apprendimento per Rinforzo Gerarchico Multi-Agente

TAG: A Decentralized Framework for Multi-Agent Hierarchical Reinforcement Learning

February 21, 2025

Autori: Giuseppe Paolo, Abdelhakim Benechehab, Hamza Cherkaoui, Albert Thomas, Balázs Kégl

cs.AI

Abstract

L'organizzazione gerarchica è fondamentale per i sistemi biologici e le società umane, tuttavia i sistemi di intelligenza artificiale spesso si basano su architetture monolitiche che limitano l'adattabilità e la scalabilità. Gli approcci attuali di apprendimento per rinforzo gerarchico (HRL) tipicamente limitano le gerarchie a due livelli o richiedono un addestramento centralizzato, il che ne limita l'applicabilità pratica. Introduciamo il TAME Agent Framework (TAG), un framework per la costruzione di sistemi multi-agente gerarchici completamente decentralizzati. TAG abilita gerarchie di profondità arbitraria attraverso un nuovo concetto chiamato LevelEnv, che astrae ogni livello della gerarchia come l'ambiente per gli agenti al livello superiore. Questo approccio standardizza il flusso di informazioni tra i livelli mantenendo un accoppiamento lasco, consentendo l'integrazione senza soluzione di continuità di diversi tipi di agenti. Dimostriamo l'efficacia di TAG implementando architetture gerarchiche che combinano diversi agenti di RL su più livelli, ottenendo prestazioni migliorate rispetto ai baseline classici di RL multi-agente su benchmark standard. I nostri risultati mostrano che l'organizzazione gerarchica decentralizzata migliora sia la velocità di apprendimento che le prestazioni finali, posizionando TAG come una direzione promettente per sistemi multi-agente scalabili.

English

Hierarchical organization is fundamental to biological systems and human societies, yet artificial intelligence systems often rely on monolithic architectures that limit adaptability and scalability. Current hierarchical reinforcement learning (HRL) approaches typically restrict hierarchies to two levels or require centralized training, which limits their practical applicability. We introduce TAME Agent Framework (TAG), a framework for constructing fully decentralized hierarchical multi-agent systems.TAG enables hierarchies of arbitrary depth through a novel LevelEnv concept, which abstracts each hierarchy level as the environment for the agents above it. This approach standardizes information flow between levels while preserving loose coupling, allowing for seamless integration of diverse agent types. We demonstrate the effectiveness of TAG by implementing hierarchical architectures that combine different RL agents across multiple levels, achieving improved performance over classical multi-agent RL baselines on standard benchmarks. Our results show that decentralized hierarchical organization enhances both learning speed and final performance, positioning TAG as a promising direction for scalable multi-agent systems.