TAG : Un Cadre Décentralisé pour l'Apprentissage par Renforcement Hiérarchique Multi-Agent

TAG: A Decentralized Framework for Multi-Agent Hierarchical Reinforcement Learning

February 21, 2025

Auteurs: Giuseppe Paolo, Abdelhakim Benechehab, Hamza Cherkaoui, Albert Thomas, Balázs Kégl

cs.AI

Résumé

L'organisation hiérarchique est fondamentale pour les systèmes biologiques et les sociétés humaines, mais les systèmes d'intelligence artificielle reposent souvent sur des architectures monolithiques qui limitent l'adaptabilité et l'évolutivité. Les approches actuelles d'apprentissage par renforcement hiérarchique (HRL) restreignent généralement les hiérarchies à deux niveaux ou nécessitent un entraînement centralisé, ce qui limite leur applicabilité pratique. Nous présentons le TAME Agent Framework (TAG), un cadre pour construire des systèmes multi-agents hiérarchiques entièrement décentralisés. TAG permet des hiérarchies de profondeur arbitraire grâce à un nouveau concept appelé LevelEnv, qui abstrait chaque niveau de hiérarchie comme l'environnement des agents situés au-dessus. Cette approche standardise le flux d'information entre les niveaux tout en préservant un couplage lâche, permettant une intégration transparente de divers types d'agents. Nous démontrons l'efficacité de TAG en implémentant des architectures hiérarchiques qui combinent différents agents d'apprentissage par renforcement à travers plusieurs niveaux, obtenant ainsi des performances supérieures aux approches classiques de multi-agents sur des benchmarks standards. Nos résultats montrent que l'organisation hiérarchique décentralisée améliore à la fois la vitesse d'apprentissage et les performances finales, positionnant TAG comme une direction prometteuse pour les systèmes multi-agents évolutifs.

English

Hierarchical organization is fundamental to biological systems and human societies, yet artificial intelligence systems often rely on monolithic architectures that limit adaptability and scalability. Current hierarchical reinforcement learning (HRL) approaches typically restrict hierarchies to two levels or require centralized training, which limits their practical applicability. We introduce TAME Agent Framework (TAG), a framework for constructing fully decentralized hierarchical multi-agent systems.TAG enables hierarchies of arbitrary depth through a novel LevelEnv concept, which abstracts each hierarchy level as the environment for the agents above it. This approach standardizes information flow between levels while preserving loose coupling, allowing for seamless integration of diverse agent types. We demonstrate the effectiveness of TAG by implementing hierarchical architectures that combine different RL agents across multiple levels, achieving improved performance over classical multi-agent RL baselines on standard benchmarks. Our results show that decentralized hierarchical organization enhances both learning speed and final performance, positioning TAG as a promising direction for scalable multi-agent systems.