Manipulation aérienne décentralisée d'une charge suspendue par câble utilisant l'apprentissage par renforcement multi-agent

Decentralized Aerial Manipulation of a Cable-Suspended Load using Multi-Agent Reinforcement Learning

August 2, 2025

papers.authors: Jack Zeng, Andreu Matoses Gimenez, Eugene Vinitsky, Javier Alonso-Mora, Sihao Sun

cs.AI

papers.abstract

Cet article présente la première méthode décentralisée permettant la manipulation en 6 degrés de liberté (6-DoF) d'une charge suspendue par câble à l'aide d'une équipe de micro-drones aériens (MAVs). Notre méthode exploite l'apprentissage par renforcement multi-agent (MARL) pour entraîner une politique de contrôle en boucle externe pour chaque MAV. Contrairement aux contrôleurs de pointe qui utilisent un schéma centralisé, notre politique ne nécessite ni états globaux, ni communications inter-MAV, ni informations sur les MAV voisins. Au lieu de cela, les agents communiquent implicitement uniquement par des observations de la pose de la charge, ce qui permet une grande évolutivité et flexibilité. Cela réduit également de manière significative les coûts de calcul pendant l'inférence, permettant un déploiement embarqué de la politique. De plus, nous introduisons une nouvelle conception de l'espace d'action pour les MAVs utilisant l'accélération linéaire et les taux de rotation du corps. Ce choix, combiné avec un contrôleur de bas niveau robuste, permet un transfert fiable du simulateur au monde réel malgré les incertitudes importantes causées par la tension du câble pendant les mouvements dynamiques en 3D. Nous validons notre méthode dans diverses expériences en conditions réelles, y compris le contrôle de la pose complète sous incertitudes du modèle de charge, montrant des performances de suivi de consigne comparables à la méthode centralisée de pointe. Nous démontrons également la coopération entre agents avec des politiques de contrôle hétérogènes, et la robustesse à la perte complète en vol d'un MAV. Vidéos des expériences : https://autonomousrobots.nl/paper_websites/aerial-manipulation-marl

English

This paper presents the first decentralized method to enable real-world 6-DoF manipulation of a cable-suspended load using a team of Micro-Aerial Vehicles (MAVs). Our method leverages multi-agent reinforcement learning (MARL) to train an outer-loop control policy for each MAV. Unlike state-of-the-art controllers that utilize a centralized scheme, our policy does not require global states, inter-MAV communications, nor neighboring MAV information. Instead, agents communicate implicitly through load pose observations alone, which enables high scalability and flexibility. It also significantly reduces computing costs during inference time, enabling onboard deployment of the policy. In addition, we introduce a new action space design for the MAVs using linear acceleration and body rates. This choice, combined with a robust low-level controller, enables reliable sim-to-real transfer despite significant uncertainties caused by cable tension during dynamic 3D motion. We validate our method in various real-world experiments, including full-pose control under load model uncertainties, showing setpoint tracking performance comparable to the state-of-the-art centralized method. We also demonstrate cooperation amongst agents with heterogeneous control policies, and robustness to the complete in-flight loss of one MAV. Videos of experiments: https://autonomousrobots.nl/paper_websites/aerial-manipulation-marl