CAMAR: Маршрутизация с непрерывными действиями в многоагентных системах

CAMAR: Continuous Actions Multi-Agent Routing

August 18, 2025

Авторы: Artem Pshenitsyn, Aleksandr Panov, Alexey Skrynnik

cs.AI

Аннотация

Многопользовательственное обучение с подкреплением (MARL) представляет собой мощную парадигму для решения задач совместного и конкурентного принятия решений. Хотя было предложено множество тестовых сред для MARL, лишь немногие из них сочетают непрерывные пространства состояний и действий с задачами, требующими сложной координации и планирования. Мы представляем CAMAR — новую тестовую среду для MARL, специально разработанную для многопользовательственного поиска пути в средах с непрерывными действиями. CAMAR поддерживает как кооперативные, так и конкурентные взаимодействия между агентами и эффективно работает на скорости до 100 000 шагов среды в секунду. Мы также предлагаем трехэтапный протокол оценки, который позволяет лучше отслеживать прогресс алгоритмов и проводить более глубокий анализ их производительности. Кроме того, CAMAR позволяет интегрировать классические методы планирования, такие как RRT и RRT*, в конвейеры MARL. Мы используем их в качестве самостоятельных базовых подходов и комбинируем RRT* с популярными алгоритмами MARL для создания гибридных методов. Мы предоставляем набор тестовых сценариев и инструментов для бенчмаркинга, чтобы обеспечить воспроизводимость и справедливое сравнение. Эксперименты показывают, что CAMAR представляет собой сложную и реалистичную тестовую среду для сообщества MARL.

English

Multi-agent reinforcement learning (MARL) is a powerful paradigm for solving cooperative and competitive decision-making problems. While many MARL benchmarks have been proposed, few combine continuous state and action spaces with challenging coordination and planning tasks. We introduce CAMAR, a new MARL benchmark designed explicitly for multi-agent pathfinding in environments with continuous actions. CAMAR supports cooperative and competitive interactions between agents and runs efficiently at up to 100,000 environment steps per second. We also propose a three-tier evaluation protocol to better track algorithmic progress and enable deeper analysis of performance. In addition, CAMAR allows the integration of classical planning methods such as RRT and RRT* into MARL pipelines. We use them as standalone baselines and combine RRT* with popular MARL algorithms to create hybrid approaches. We provide a suite of test scenarios and benchmarking tools to ensure reproducibility and fair comparison. Experiments show that CAMAR presents a challenging and realistic testbed for the MARL community.