TAG: Un Marco Descentralizado para el Aprendizaje por Refuerzo Jerárquico en Sistemas Multiagente

TAG: A Decentralized Framework for Multi-Agent Hierarchical Reinforcement Learning

February 21, 2025

Autores: Giuseppe Paolo, Abdelhakim Benechehab, Hamza Cherkaoui, Albert Thomas, Balázs Kégl

cs.AI

Resumen

La organización jerárquica es fundamental en los sistemas biológicos y en las sociedades humanas, sin embargo, los sistemas de inteligencia artificial suelen depender de arquitecturas monolíticas que limitan la adaptabilidad y la escalabilidad. Los enfoques actuales de aprendizaje por refuerzo jerárquico (HRL, por sus siglas en inglés) generalmente restringen las jerarquías a dos niveles o requieren un entrenamiento centralizado, lo que limita su aplicabilidad práctica. Presentamos el Marco de Agentes TAME (TAG, por sus siglas en inglés), un marco para construir sistemas multiagente jerárquicos completamente descentralizados. TAG permite jerarquías de profundidad arbitraria a través de un nuevo concepto llamado LevelEnv, que abstrae cada nivel de la jerarquía como el entorno para los agentes superiores. Este enfoque estandariza el flujo de información entre niveles mientras mantiene un acoplamiento flexible, permitiendo la integración fluida de diversos tipos de agentes. Demostramos la efectividad de TAG implementando arquitecturas jerárquicas que combinan diferentes agentes de aprendizaje por refuerzo en múltiples niveles, logrando un rendimiento mejorado en comparación con los enfoques clásicos de aprendizaje por refuerzo multiagente en benchmarks estándar. Nuestros resultados muestran que la organización jerárquica descentralizada mejora tanto la velocidad de aprendizaje como el rendimiento final, posicionando a TAG como una dirección prometedora para sistemas multiagente escalables.

English

Hierarchical organization is fundamental to biological systems and human societies, yet artificial intelligence systems often rely on monolithic architectures that limit adaptability and scalability. Current hierarchical reinforcement learning (HRL) approaches typically restrict hierarchies to two levels or require centralized training, which limits their practical applicability. We introduce TAME Agent Framework (TAG), a framework for constructing fully decentralized hierarchical multi-agent systems.TAG enables hierarchies of arbitrary depth through a novel LevelEnv concept, which abstracts each hierarchy level as the environment for the agents above it. This approach standardizes information flow between levels while preserving loose coupling, allowing for seamless integration of diverse agent types. We demonstrate the effectiveness of TAG by implementing hierarchical architectures that combine different RL agents across multiple levels, achieving improved performance over classical multi-agent RL baselines on standard benchmarks. Our results show that decentralized hierarchical organization enhances both learning speed and final performance, positioning TAG as a promising direction for scalable multi-agent systems.