CAMAR: 連続行動型マルチエージェントルーティング

要旨

マルチエージェント強化学習（MARL）は、協調的および競争的な意思決定問題を解決するための強力なパラダイムです。多くのMARLベンチマークが提案されていますが、連続的な状態空間と行動空間を組み合わせ、挑戦的な調整と計画タスクを備えたものはほとんどありません。本論文では、連続的な行動を持つ環境におけるマルチエージェント経路探索に特化した新しいMARLベンチマークであるCAMARを紹介します。CAMARはエージェント間の協調的および競争的な相互作用をサポートし、最大で毎秒100,000環境ステップの効率的な実行を実現します。また、アルゴリズムの進捗をより適切に追跡し、パフォーマンスの深い分析を可能にするための3段階の評価プロトコルを提案します。さらに、CAMARではRRTやRRT*などの古典的な計画手法をMARLパイプラインに統合することが可能です。これらをスタンドアロンのベースラインとして使用し、RRT*を人気のあるMARLアルゴリズムと組み合わせてハイブリッドアプローチを構築します。再現性と公平な比較を確保するために、一連のテストシナリオとベンチマークツールを提供します。実験結果から、CAMARがMARLコミュニティにとって挑戦的で現実的なテストベッドであることが示されています。

English

Multi-agent reinforcement learning (MARL) is a powerful paradigm for solving cooperative and competitive decision-making problems. While many MARL benchmarks have been proposed, few combine continuous state and action spaces with challenging coordination and planning tasks. We introduce CAMAR, a new MARL benchmark designed explicitly for multi-agent pathfinding in environments with continuous actions. CAMAR supports cooperative and competitive interactions between agents and runs efficiently at up to 100,000 environment steps per second. We also propose a three-tier evaluation protocol to better track algorithmic progress and enable deeper analysis of performance. In addition, CAMAR allows the integration of classical planning methods such as RRT and RRT* into MARL pipelines. We use them as standalone baselines and combine RRT* with popular MARL algorithms to create hybrid approaches. We provide a suite of test scenarios and benchmarking tools to ensure reproducibility and fair comparison. Experiments show that CAMAR presents a challenging and realistic testbed for the MARL community.

CAMAR: 連続行動型マルチエージェントルーティング

CAMAR: Continuous Actions Multi-Agent Routing

要旨

Support