CAMAR : Routage Multi-Agent à Actions Continues

CAMAR: Continuous Actions Multi-Agent Routing

August 18, 2025

papers.authors: Artem Pshenitsyn, Aleksandr Panov, Alexey Skrynnik

cs.AI

papers.abstract

L'apprentissage par renforcement multi-agent (MARL) est un paradigme puissant pour résoudre des problèmes de prise de décision coopératifs et compétitifs. Bien que de nombreux benchmarks MARL aient été proposés, peu combinent des espaces d'états et d'actions continus avec des tâches complexes de coordination et de planification. Nous présentons CAMAR, un nouveau benchmark MARL conçu explicitement pour la recherche de chemin multi-agent dans des environnements à actions continues. CAMAR prend en charge les interactions coopératives et compétitives entre agents et fonctionne efficacement jusqu'à 100 000 étapes d'environnement par seconde. Nous proposons également un protocole d'évaluation à trois niveaux pour mieux suivre les progrès algorithmiques et permettre une analyse approfondie des performances. De plus, CAMAR permet l'intégration de méthodes de planification classiques telles que RRT et RRT* dans les pipelines MARL. Nous les utilisons comme bases de référence autonomes et combinons RRT* avec des algorithmes MARL populaires pour créer des approches hybrides. Nous fournissons une suite de scénarios de test et d'outils de benchmarking pour garantir la reproductibilité et une comparaison équitable. Les expériences montrent que CAMAR constitue un banc d'essai à la fois stimulant et réaliste pour la communauté MARL.

English

Multi-agent reinforcement learning (MARL) is a powerful paradigm for solving cooperative and competitive decision-making problems. While many MARL benchmarks have been proposed, few combine continuous state and action spaces with challenging coordination and planning tasks. We introduce CAMAR, a new MARL benchmark designed explicitly for multi-agent pathfinding in environments with continuous actions. CAMAR supports cooperative and competitive interactions between agents and runs efficiently at up to 100,000 environment steps per second. We also propose a three-tier evaluation protocol to better track algorithmic progress and enable deeper analysis of performance. In addition, CAMAR allows the integration of classical planning methods such as RRT and RRT* into MARL pipelines. We use them as standalone baselines and combine RRT* with popular MARL algorithms to create hybrid approaches. We provide a suite of test scenarios and benchmarking tools to ensure reproducibility and fair comparison. Experiments show that CAMAR presents a challenging and realistic testbed for the MARL community.