Manipolazione Aerea Decentralizzata di un Carico Sospeso tramite Cavo utilizzando Apprendimento per Rinforzo Multi-Agente

Decentralized Aerial Manipulation of a Cable-Suspended Load using Multi-Agent Reinforcement Learning

August 2, 2025

Autori: Jack Zeng, Andreu Matoses Gimenez, Eugene Vinitsky, Javier Alonso-Mora, Sihao Sun

cs.AI

Abstract

Questo articolo presenta il primo metodo decentralizzato per abilitare la manipolazione 6-DoF nel mondo reale di un carico sospeso tramite cavo utilizzando un team di Micro-Veicoli Aerei (MAV). Il nostro metodo sfrutta il reinforcement learning multi-agente (MARL) per addestrare una politica di controllo ad anello esterno per ciascun MAV. A differenza dei controller all'avanguardia che utilizzano uno schema centralizzato, la nostra politica non richiede stati globali, comunicazioni inter-MAV né informazioni sui MAV vicini. Invece, gli agenti comunicano implicitamente solo attraverso osservazioni della posa del carico, il che consente un'elevata scalabilità e flessibilità. Inoltre, riduce significativamente i costi computazionali durante il tempo di inferenza, consentendo la distribuzione a bordo della politica. In aggiunta, introduciamo un nuovo design dello spazio di azione per i MAV utilizzando accelerazione lineare e velocità angolari del corpo. Questa scelta, combinata con un robusto controller di basso livello, consente un trasferimento affidabile da simulazione a realtà nonostante le significative incertezze causate dalla tensione del cavo durante il movimento dinamico 3D. Validiamo il nostro metodo in vari esperimenti nel mondo reale, incluso il controllo completo della posa in presenza di incertezze del modello del carico, mostrando prestazioni di inseguimento del setpoint comparabili al metodo centralizzato all'avanguardia. Dimostriamo inoltre la cooperazione tra agenti con politiche di controllo eterogenee e la robustezza alla perdita completa in volo di un MAV. Video degli esperimenti: https://autonomousrobots.nl/paper_websites/aerial-manipulation-marl

English

This paper presents the first decentralized method to enable real-world 6-DoF manipulation of a cable-suspended load using a team of Micro-Aerial Vehicles (MAVs). Our method leverages multi-agent reinforcement learning (MARL) to train an outer-loop control policy for each MAV. Unlike state-of-the-art controllers that utilize a centralized scheme, our policy does not require global states, inter-MAV communications, nor neighboring MAV information. Instead, agents communicate implicitly through load pose observations alone, which enables high scalability and flexibility. It also significantly reduces computing costs during inference time, enabling onboard deployment of the policy. In addition, we introduce a new action space design for the MAVs using linear acceleration and body rates. This choice, combined with a robust low-level controller, enables reliable sim-to-real transfer despite significant uncertainties caused by cable tension during dynamic 3D motion. We validate our method in various real-world experiments, including full-pose control under load model uncertainties, showing setpoint tracking performance comparable to the state-of-the-art centralized method. We also demonstrate cooperation amongst agents with heterogeneous control policies, and robustness to the complete in-flight loss of one MAV. Videos of experiments: https://autonomousrobots.nl/paper_websites/aerial-manipulation-marl