Decentrale luchtmanipulatie van een kabelgehangen last met behulp van multi-agent reinforcement learning

Decentralized Aerial Manipulation of a Cable-Suspended Load using Multi-Agent Reinforcement Learning

August 2, 2025

Auteurs: Jack Zeng, Andreu Matoses Gimenez, Eugene Vinitsky, Javier Alonso-Mora, Sihao Sun

cs.AI

Samenvatting

Dit artikel presenteert de eerste gedecentraliseerde methode om 6-DoF-manipulatie van een kabelgehangen last in de echte wereld mogelijk te maken met behulp van een team van Micro-Aerial Vehicles (MAV's). Onze methode maakt gebruik van multi-agent reinforcement learning (MARL) om een buitenlus-controlebeleid voor elke MAV te trainen. In tegenstelling tot state-of-the-art controllers die een gecentraliseerd schema gebruiken, vereist ons beleid geen globale staten, inter-MAV-communicatie, noch informatie over naburige MAV's. In plaats daarvan communiceren agents impliciet via alleen waarnemingen van de lastpositie, wat hoge schaalbaarheid en flexibiliteit mogelijk maakt. Het vermindert ook aanzienlijk de rekenkosten tijdens inferentietijd, wat onboard-implementatie van het beleid mogelijk maakt. Daarnaast introduceren we een nieuwe actieruimte-ontwerp voor de MAV's met behulp van lineaire versnelling en lichaamsrotatiesnelheden. Deze keuze, gecombineerd met een robuuste low-level controller, maakt een betrouwbare sim-to-real transfer mogelijk ondanks aanzienlijke onzekerheden veroorzaakt door kabelspanning tijdens dynamische 3D-beweging. We valideren onze methode in verschillende real-world experimenten, waaronder volledige positiecontrole onder onzekerheden in het lastmodel, waarbij we setpoint-trackingprestaties laten zien die vergelijkbaar zijn met de state-of-the-art gecentraliseerde methode. We demonstreren ook samenwerking tussen agents met heterogene controlebeleidsregels, en robuustheid tegen het volledige verlies van één MAV tijdens de vlucht. Video's van experimenten: https://autonomousrobots.nl/paper_websites/aerial-manipulation-marl

English

This paper presents the first decentralized method to enable real-world 6-DoF manipulation of a cable-suspended load using a team of Micro-Aerial Vehicles (MAVs). Our method leverages multi-agent reinforcement learning (MARL) to train an outer-loop control policy for each MAV. Unlike state-of-the-art controllers that utilize a centralized scheme, our policy does not require global states, inter-MAV communications, nor neighboring MAV information. Instead, agents communicate implicitly through load pose observations alone, which enables high scalability and flexibility. It also significantly reduces computing costs during inference time, enabling onboard deployment of the policy. In addition, we introduce a new action space design for the MAVs using linear acceleration and body rates. This choice, combined with a robust low-level controller, enables reliable sim-to-real transfer despite significant uncertainties caused by cable tension during dynamic 3D motion. We validate our method in various real-world experiments, including full-pose control under load model uncertainties, showing setpoint tracking performance comparable to the state-of-the-art centralized method. We also demonstrate cooperation amongst agents with heterogeneous control policies, and robustness to the complete in-flight loss of one MAV. Videos of experiments: https://autonomousrobots.nl/paper_websites/aerial-manipulation-marl