CAMAR: Roteamento Multiagente com Ações Contínuas

CAMAR: Continuous Actions Multi-Agent Routing

August 18, 2025

Autores: Artem Pshenitsyn, Aleksandr Panov, Alexey Skrynnik

cs.AI

Resumo

O aprendizado por reforço multiagente (MARL) é um paradigma poderoso para resolver problemas de tomada de decisão cooperativos e competitivos. Embora muitos benchmarks de MARL tenham sido propostos, poucos combinam espaços contínuos de estados e ações com tarefas desafiadoras de coordenação e planejamento. Apresentamos o CAMAR, um novo benchmark de MARL projetado explicitamente para busca de caminhos multiagente em ambientes com ações contínuas. O CAMAR suporta interações cooperativas e competitivas entre agentes e é executado de forma eficiente, atingindo até 100.000 passos de ambiente por segundo. Também propomos um protocolo de avaliação de três níveis para acompanhar melhor o progresso algorítmico e permitir uma análise mais profunda do desempenho. Além disso, o CAMAR permite a integração de métodos clássicos de planejamento, como RRT e RRT*, em pipelines de MARL. Utilizamos esses métodos como baselines independentes e combinamos o RRT* com algoritmos populares de MARL para criar abordagens híbridas. Fornecemos um conjunto de cenários de teste e ferramentas de benchmarking para garantir reprodutibilidade e comparação justa. Experimentos mostram que o CAMAR representa um ambiente de teste desafiador e realista para a comunidade de MARL.

English

Multi-agent reinforcement learning (MARL) is a powerful paradigm for solving cooperative and competitive decision-making problems. While many MARL benchmarks have been proposed, few combine continuous state and action spaces with challenging coordination and planning tasks. We introduce CAMAR, a new MARL benchmark designed explicitly for multi-agent pathfinding in environments with continuous actions. CAMAR supports cooperative and competitive interactions between agents and runs efficiently at up to 100,000 environment steps per second. We also propose a three-tier evaluation protocol to better track algorithmic progress and enable deeper analysis of performance. In addition, CAMAR allows the integration of classical planning methods such as RRT and RRT* into MARL pipelines. We use them as standalone baselines and combine RRT* with popular MARL algorithms to create hybrid approaches. We provide a suite of test scenarios and benchmarking tools to ensure reproducibility and fair comparison. Experiments show that CAMAR presents a challenging and realistic testbed for the MARL community.