CAMAR: Continueel Acties Multi-Agent Routering

CAMAR: Continuous Actions Multi-Agent Routing

August 18, 2025

Auteurs: Artem Pshenitsyn, Aleksandr Panov, Alexey Skrynnik

cs.AI

Samenvatting

Multi-agent reinforcement learning (MARL) is een krachtig paradigma voor het oplossen van coöperatieve en competitieve besluitvormingsproblemen. Hoewel er veel MARL-benchmarks zijn voorgesteld, combineren slechts weinig continue toestands- en actieruimtes met uitdagende coördinatie- en planningsopgaven. Wij introduceren CAMAR, een nieuwe MARL-benchmark die expliciet is ontworpen voor multi-agent pathfinding in omgevingen met continue acties. CAMAR ondersteunt zowel coöperatieve als competitieve interacties tussen agents en draait efficiënt met tot wel 100.000 omgevingsstappen per seconde. We stellen ook een drielaags evaluatieprotocol voor om de algoritmische voortgang beter te volgen en een diepere analyse van prestaties mogelijk te maken. Daarnaast maakt CAMAR de integratie van klassieke planningsmethoden zoals RRT en RRT* in MARL-pipelines mogelijk. We gebruiken deze als standalone baselines en combineren RRT* met populaire MARL-algoritmen om hybride benaderingen te creëren. We bieden een reeks testscenario's en benchmarkingtools om reproduceerbaarheid en eerlijke vergelijking te garanderen. Experimenten tonen aan dat CAMAR een uitdagend en realistisch testbed vormt voor de MARL-gemeenschap.

English

Multi-agent reinforcement learning (MARL) is a powerful paradigm for solving cooperative and competitive decision-making problems. While many MARL benchmarks have been proposed, few combine continuous state and action spaces with challenging coordination and planning tasks. We introduce CAMAR, a new MARL benchmark designed explicitly for multi-agent pathfinding in environments with continuous actions. CAMAR supports cooperative and competitive interactions between agents and runs efficiently at up to 100,000 environment steps per second. We also propose a three-tier evaluation protocol to better track algorithmic progress and enable deeper analysis of performance. In addition, CAMAR allows the integration of classical planning methods such as RRT and RRT* into MARL pipelines. We use them as standalone baselines and combine RRT* with popular MARL algorithms to create hybrid approaches. We provide a suite of test scenarios and benchmarking tools to ensure reproducibility and fair comparison. Experiments show that CAMAR presents a challenging and realistic testbed for the MARL community.