CAMAR: Routing Multi-Agente con Azioni Continue

CAMAR: Continuous Actions Multi-Agent Routing

August 18, 2025

Autori: Artem Pshenitsyn, Aleksandr Panov, Alexey Skrynnik

cs.AI

Abstract

L'apprendimento per rinforzo multi-agente (MARL) è un paradigma potente per risolvere problemi decisionali cooperativi e competitivi. Sebbene siano stati proposti numerosi benchmark per il MARL, pochi combinano spazi di stato e azioni continui con compiti impegnativi di coordinamento e pianificazione. Introduciamo CAMAR, un nuovo benchmark MARL progettato specificamente per il pathfinding multi-agente in ambienti con azioni continue. CAMAR supporta interazioni sia cooperative che competitive tra agenti e funziona in modo efficiente fino a 100.000 passi di ambiente al secondo. Proponiamo inoltre un protocollo di valutazione a tre livelli per monitorare meglio i progressi algoritmici e consentire un'analisi più approfondita delle prestazioni. Inoltre, CAMAR consente l'integrazione di metodi di pianificazione classici come RRT e RRT* nelle pipeline MARL. Li utilizziamo come baseline autonomi e combiniamo RRT* con popolari algoritmi MARL per creare approcci ibridi. Forniamo una suite di scenari di test e strumenti di benchmarking per garantire riproducibilità e confronti equi. Gli esperimenti dimostrano che CAMAR rappresenta un banco di prova impegnativo e realistico per la comunità MARL.

English

Multi-agent reinforcement learning (MARL) is a powerful paradigm for solving cooperative and competitive decision-making problems. While many MARL benchmarks have been proposed, few combine continuous state and action spaces with challenging coordination and planning tasks. We introduce CAMAR, a new MARL benchmark designed explicitly for multi-agent pathfinding in environments with continuous actions. CAMAR supports cooperative and competitive interactions between agents and runs efficiently at up to 100,000 environment steps per second. We also propose a three-tier evaluation protocol to better track algorithmic progress and enable deeper analysis of performance. In addition, CAMAR allows the integration of classical planning methods such as RRT and RRT* into MARL pipelines. We use them as standalone baselines and combine RRT* with popular MARL algorithms to create hybrid approaches. We provide a suite of test scenarios and benchmarking tools to ensure reproducibility and fair comparison. Experiments show that CAMAR presents a challenging and realistic testbed for the MARL community.