Разделение коммуникации и политики: робастный MARL при ограничениях пропускной способности

Аннотация

Коммуникация обеспечивает координацию в мультиагентном обучении с подкреплением (MARL), однако многие прикладные задачи, например, поисково-спасательные операции с роями дронов, работают в условиях жестких ограничений пропускной способности. Многие коммуникационные архитектуры по-прежнему имеют сопряженное узкое место, при котором общее скрытое представление используется как для выполнения политики, так и для меж агентной коммуникации. Следовательно, уменьшение размера сообщения напрямую ограничивает скрытое пространство политики, что часто приводит к значительному снижению производительности. Мы решаем эту проблему с помощью двух вкладов. Во-первых, мы вводим β — нормированный бюджет пропускной способности на агента, который объединяет разреженность, количество раундов и размерность сообщений в единое сопоставимое ограничение. Во-вторых, мы предлагаем SLIM — минимальную архитектуру, которая разделяет коммуникационный канал и скрытое представление политики, позволяя изолировать влияние пропускной способности от влияния емкости политики, сохраняя при этом преимущества синхронной коммуникации. Мы оцениваем наш метод на нескольких эталонных задачах MARL с частичной наблюдаемостью, где коммуникация необходима. Наш подход достигает производительности на уровне современных методов и демонстрирует масштабируемость и устойчивость в условиях ограниченной коммуникации, с лишь незначительным ухудшением при снижении пропускной способности.

English

Communication enables coordination in multi-agent reinforcement learning (MARL), but many real-world applications, e.g., search-and-rescue with drone swarms, operate under severe bandwidth constraints. Many communication architectures still expose a coupled bottleneck in which a shared latent representation is used for both policy execution and inter-agent communication. Consequently, reducing message size directly limits the policy's latent space, often leading to significant performance degradation. We address this with two contributions. First, we introduce β, a normalised per-agent bandwidth budget that unifies sparsity, rounds, and message dimension into a single comparable constraint. Second, we provide SLIM, a minimal architecture that decouples the communication pathway from the policy's latent representation, allowing us to isolate the effect of bandwidth from the effect of policy capacity while benefiting from in-step communication. We evaluate our method on several partially-observable MARL benchmarks, where communication is essential. Our approach achieves state-of-the-art performance and exhibits scalability and robustness under limited communication, with only marginal degradation as bandwidth is reduced.