CAMAR: Enrutamiento Multiagente con Acciones Continuas

CAMAR: Continuous Actions Multi-Agent Routing

August 18, 2025

Autores: Artem Pshenitsyn, Aleksandr Panov, Alexey Skrynnik

cs.AI

Resumen

El aprendizaje por refuerzo multiagente (MARL, por sus siglas en inglés) es un paradigma poderoso para resolver problemas de toma de decisiones cooperativos y competitivos. Aunque se han propuesto muchos puntos de referencia para MARL, pocos combinan espacios de estados y acciones continuos con tareas desafiantes de coordinación y planificación. Presentamos CAMAR, un nuevo punto de referencia para MARL diseñado explícitamente para la búsqueda de rutas multiagente en entornos con acciones continuas. CAMAR admite interacciones cooperativas y competitivas entre agentes y se ejecuta de manera eficiente a hasta 100,000 pasos del entorno por segundo. También proponemos un protocolo de evaluación de tres niveles para rastrear mejor el progreso algorítmico y permitir un análisis más profundo del rendimiento. Además, CAMAR permite la integración de métodos clásicos de planificación, como RRT y RRT*, en flujos de trabajo de MARL. Los utilizamos como líneas base independientes y combinamos RRT* con algoritmos populares de MARL para crear enfoques híbridos. Ofrecemos un conjunto de escenarios de prueba y herramientas de evaluación comparativa para garantizar la reproducibilidad y una comparación justa. Los experimentos muestran que CAMAR representa un banco de pruebas desafiante y realista para la comunidad de MARL.

English

Multi-agent reinforcement learning (MARL) is a powerful paradigm for solving cooperative and competitive decision-making problems. While many MARL benchmarks have been proposed, few combine continuous state and action spaces with challenging coordination and planning tasks. We introduce CAMAR, a new MARL benchmark designed explicitly for multi-agent pathfinding in environments with continuous actions. CAMAR supports cooperative and competitive interactions between agents and runs efficiently at up to 100,000 environment steps per second. We also propose a three-tier evaluation protocol to better track algorithmic progress and enable deeper analysis of performance. In addition, CAMAR allows the integration of classical planning methods such as RRT and RRT* into MARL pipelines. We use them as standalone baselines and combine RRT* with popular MARL algorithms to create hybrid approaches. We provide a suite of test scenarios and benchmarking tools to ensure reproducibility and fair comparison. Experiments show that CAMAR presents a challenging and realistic testbed for the MARL community.