TAG: 다중 에이전트 계층적 강화 학습을 위한 분산형 프레임워크

TAG: A Decentralized Framework for Multi-Agent Hierarchical Reinforcement Learning

February 21, 2025

저자: Giuseppe Paolo, Abdelhakim Benechehab, Hamza Cherkaoui, Albert Thomas, Balázs Kégl

cs.AI

초록

계층적 조직은 생물학적 시스템과 인간 사회의 근간을 이루지만, 인공지능 시스템은 종종 단일 구조에 의존하여 적응성과 확장성을 제한합니다. 현재의 계층적 강화 학습(Hierarchical Reinforcement Learning, HRL) 접근법은 일반적으로 계층을 두 단계로 제한하거나 중앙 집중식 훈련을 요구함으로써 실용적 적용 가능성을 제한합니다. 우리는 완전히 분산된 계층적 다중 에이전트 시스템을 구축하기 위한 TAME 에이전트 프레임워크(TAG)를 소개합니다. TAG는 새로운 LevelEnv 개념을 통해 임의의 깊이를 가진 계층을 가능하게 하며, 이는 각 계층을 상위 에이전트의 환경으로 추상화합니다. 이 접근법은 계층 간 정보 흐름을 표준화하면서도 느슨한 결합을 유지하여 다양한 에이전트 유형의 원활한 통합을 가능하게 합니다. 우리는 TAG의 효과를 입증하기 위해 여러 계층에 걸쳐 다양한 강화 학습 에이전트를 결합한 계층적 아키텍처를 구현하고, 표준 벤치마크에서 기존의 다중 에이전트 강화 학습 기법을 능가하는 성능을 달성했습니다. 우리의 결과는 분산된 계층적 조직이 학습 속도와 최종 성능 모두를 향상시킴을 보여주며, TAG를 확장 가능한 다중 에이전트 시스템을 위한 유망한 방향으로 위치시킵니다.

English

Hierarchical organization is fundamental to biological systems and human societies, yet artificial intelligence systems often rely on monolithic architectures that limit adaptability and scalability. Current hierarchical reinforcement learning (HRL) approaches typically restrict hierarchies to two levels or require centralized training, which limits their practical applicability. We introduce TAME Agent Framework (TAG), a framework for constructing fully decentralized hierarchical multi-agent systems.TAG enables hierarchies of arbitrary depth through a novel LevelEnv concept, which abstracts each hierarchy level as the environment for the agents above it. This approach standardizes information flow between levels while preserving loose coupling, allowing for seamless integration of diverse agent types. We demonstrate the effectiveness of TAG by implementing hierarchical architectures that combine different RL agents across multiple levels, achieving improved performance over classical multi-agent RL baselines on standard benchmarks. Our results show that decentralized hierarchical organization enhances both learning speed and final performance, positioning TAG as a promising direction for scalable multi-agent systems.