TAG: Uma Estrutura Descentralizada para Aprendizado por Reforço Hierárquico Multiagente

TAG: A Decentralized Framework for Multi-Agent Hierarchical Reinforcement Learning

February 21, 2025

Autores: Giuseppe Paolo, Abdelhakim Benechehab, Hamza Cherkaoui, Albert Thomas, Balázs Kégl

cs.AI

Resumo

A organização hierárquica é fundamental para os sistemas biológicos e as sociedades humanas, mas os sistemas de inteligência artificial frequentemente dependem de arquiteturas monolíticas que limitam a adaptabilidade e a escalabilidade. As abordagens atuais de aprendizado por reforço hierárquico (HRL) geralmente restringem as hierarquias a dois níveis ou exigem treinamento centralizado, o que limita sua aplicabilidade prática. Apresentamos o TAME Agent Framework (TAG), uma estrutura para a construção de sistemas multiagentes hierárquicos totalmente descentralizados. O TAG permite hierarquias de profundidade arbitrária por meio de um novo conceito chamado LevelEnv, que abstrai cada nível da hierarquia como o ambiente para os agentes acima dele. Essa abordagem padroniza o fluxo de informações entre os níveis, mantendo um acoplamento flexível e permitindo a integração contínua de diversos tipos de agentes. Demonstramos a eficácia do TAG implementando arquiteturas hierárquicas que combinam diferentes agentes de RL em múltiplos níveis, alcançando desempenho superior em relação às abordagens clássicas de RL multiagente em benchmarks padrão. Nossos resultados mostram que a organização hierárquica descentralizada melhora tanto a velocidade de aprendizado quanto o desempenho final, posicionando o TAG como uma direção promissora para sistemas multiagentes escaláveis.

English

Hierarchical organization is fundamental to biological systems and human societies, yet artificial intelligence systems often rely on monolithic architectures that limit adaptability and scalability. Current hierarchical reinforcement learning (HRL) approaches typically restrict hierarchies to two levels or require centralized training, which limits their practical applicability. We introduce TAME Agent Framework (TAG), a framework for constructing fully decentralized hierarchical multi-agent systems.TAG enables hierarchies of arbitrary depth through a novel LevelEnv concept, which abstracts each hierarchy level as the environment for the agents above it. This approach standardizes information flow between levels while preserving loose coupling, allowing for seamless integration of diverse agent types. We demonstrate the effectiveness of TAG by implementing hierarchical architectures that combine different RL agents across multiple levels, achieving improved performance over classical multi-agent RL baselines on standard benchmarks. Our results show that decentralized hierarchical organization enhances both learning speed and final performance, positioning TAG as a promising direction for scalable multi-agent systems.