TAG: マルチエージェント階層型強化学習のための分散型フレームワーク

TAG: A Decentralized Framework for Multi-Agent Hierarchical Reinforcement Learning

February 21, 2025

著者: Giuseppe Paolo, Abdelhakim Benechehab, Hamza Cherkaoui, Albert Thomas, Balázs Kégl

cs.AI

要旨

階層構造は生物学的システムや人間社会において基本的な要素であるが、人工知能システムはしばしば単一的なアーキテクチャに依存しており、適応性と拡張性が制限されている。現在の階層的強化学習（HRL）アプローチは、階層を2レベルに制限するか、集中型のトレーニングを必要とするため、実用性が限られている。本論文では、完全に分散化された階層型マルチエージェントシステムを構築するためのフレームワークであるTAME Agent Framework（TAG）を紹介する。TAGは、新しいLevelEnv概念を通じて任意の深さの階層を可能にし、各階層レベルを上位のエージェントの環境として抽象化する。このアプローチは、レベル間の情報フローを標準化しつつ、緩やかな結合を維持することで、多様なエージェントタイプのシームレスな統合を可能にする。我々は、TAGの有効性を、複数のレベルにわたって異なるRLエージェントを組み合わせた階層型アーキテクチャを実装し、標準ベンチマークにおいて従来のマルチエージェントRLベースラインを上回る性能を達成することで実証した。結果は、分散型階層構造が学習速度と最終的な性能の両方を向上させることを示しており、TAGがスケーラブルなマルチエージェントシステムの有望な方向性であることを位置づけている。

English

Hierarchical organization is fundamental to biological systems and human societies, yet artificial intelligence systems often rely on monolithic architectures that limit adaptability and scalability. Current hierarchical reinforcement learning (HRL) approaches typically restrict hierarchies to two levels or require centralized training, which limits their practical applicability. We introduce TAME Agent Framework (TAG), a framework for constructing fully decentralized hierarchical multi-agent systems.TAG enables hierarchies of arbitrary depth through a novel LevelEnv concept, which abstracts each hierarchy level as the environment for the agents above it. This approach standardizes information flow between levels while preserving loose coupling, allowing for seamless integration of diverse agent types. We demonstrate the effectiveness of TAG by implementing hierarchical architectures that combine different RL agents across multiple levels, achieving improved performance over classical multi-agent RL baselines on standard benchmarks. Our results show that decentralized hierarchical organization enhances both learning speed and final performance, positioning TAG as a promising direction for scalable multi-agent systems.