CAMAR: Kontinuierliche Aktionen Multi-Agenten-Routing

CAMAR: Continuous Actions Multi-Agent Routing

August 18, 2025

papers.authors: Artem Pshenitsyn, Aleksandr Panov, Alexey Skrynnik

cs.AI

papers.abstract

Multi-Agent Reinforcement Learning (MARL) ist ein leistungsstarkes Paradigma zur Lösung kooperativer und kompetitiver Entscheidungsprobleme. Obwohl viele MARL-Benchmarks vorgeschlagen wurden, kombinieren nur wenige kontinuierliche Zustands- und Aktionsräume mit anspruchsvollen Koordinations- und Planungsaufgaben. Wir stellen CAMAR vor, einen neuen MARL-Benchmark, der explizit für Multi-Agent-Pathfinding in Umgebungen mit kontinuierlichen Aktionen entwickelt wurde. CAMAR unterstützt sowohl kooperative als auch kompetitive Interaktionen zwischen Agenten und läuft effizient mit bis zu 100.000 Umgebungsschritten pro Sekunde. Zudem schlagen wir ein dreistufiges Evaluationsprotokoll vor, um den algorithmischen Fortschritt besser nachzuverfolgen und eine tiefergehende Leistungsanalyse zu ermöglichen. Darüber hinaus erlaubt CAMAR die Integration klassischer Planungsmethoden wie RRT und RRT* in MARL-Pipelines. Wir verwenden sie als eigenständige Baselines und kombinieren RRT* mit populären MARL-Algorithmen, um hybride Ansätze zu schaffen. Wir stellen eine Suite von Testszenarien und Benchmarking-Tools bereit, um Reproduzierbarkeit und faire Vergleiche zu gewährleisten. Experimente zeigen, dass CAMAR eine herausfordernde und realistische Testumgebung für die MARL-Community darstellt.

English

Multi-agent reinforcement learning (MARL) is a powerful paradigm for solving cooperative and competitive decision-making problems. While many MARL benchmarks have been proposed, few combine continuous state and action spaces with challenging coordination and planning tasks. We introduce CAMAR, a new MARL benchmark designed explicitly for multi-agent pathfinding in environments with continuous actions. CAMAR supports cooperative and competitive interactions between agents and runs efficiently at up to 100,000 environment steps per second. We also propose a three-tier evaluation protocol to better track algorithmic progress and enable deeper analysis of performance. In addition, CAMAR allows the integration of classical planning methods such as RRT and RRT* into MARL pipelines. We use them as standalone baselines and combine RRT* with popular MARL algorithms to create hybrid approaches. We provide a suite of test scenarios and benchmarking tools to ensure reproducibility and fair comparison. Experiments show that CAMAR presents a challenging and realistic testbed for the MARL community.