Manipulación Aérea Descentralizada de una Carga Suspendida por Cable utilizando Aprendizaje por Refuerzo Multiagente

Decentralized Aerial Manipulation of a Cable-Suspended Load using Multi-Agent Reinforcement Learning

August 2, 2025

Autores: Jack Zeng, Andreu Matoses Gimenez, Eugene Vinitsky, Javier Alonso-Mora, Sihao Sun

cs.AI

Resumen

Este artículo presenta el primer método descentralizado para permitir la manipulación en 6 grados de libertad (6-DoF) de una carga suspendida por cables utilizando un equipo de vehículos aéreos micro (MAVs, por sus siglas en inglés). Nuestro método aprovecha el aprendizaje por refuerzo multiagente (MARL, por sus siglas en inglés) para entrenar una política de control de bucle externo para cada MAV. A diferencia de los controladores de última generación que utilizan un esquema centralizado, nuestra política no requiere estados globales, comunicaciones entre MAVs ni información sobre los MAVs vecinos. En su lugar, los agentes se comunican implícitamente únicamente a través de observaciones de la pose de la carga, lo que permite una alta escalabilidad y flexibilidad. Además, esto reduce significativamente los costos computacionales durante el tiempo de inferencia, permitiendo la implementación de la política a bordo. Asimismo, introducimos un nuevo diseño de espacio de acción para los MAVs utilizando aceleración lineal y tasas de giro del cuerpo. Esta elección, combinada con un controlador de bajo nivel robusto, permite una transferencia confiable de simulación a realidad a pesar de las incertidumbres significativas causadas por la tensión del cable durante el movimiento dinámico en 3D. Validamos nuestro método en diversos experimentos del mundo real, incluyendo el control de la pose completa bajo incertidumbres del modelo de la carga, mostrando un rendimiento de seguimiento de puntos de referencia comparable al método centralizado de última generación. También demostramos la cooperación entre agentes con políticas de control heterogéneas y la robustez ante la pérdida completa en vuelo de un MAV. Videos de los experimentos: https://autonomousrobots.nl/paper_websites/aerial-manipulation-marl.

English

This paper presents the first decentralized method to enable real-world 6-DoF manipulation of a cable-suspended load using a team of Micro-Aerial Vehicles (MAVs). Our method leverages multi-agent reinforcement learning (MARL) to train an outer-loop control policy for each MAV. Unlike state-of-the-art controllers that utilize a centralized scheme, our policy does not require global states, inter-MAV communications, nor neighboring MAV information. Instead, agents communicate implicitly through load pose observations alone, which enables high scalability and flexibility. It also significantly reduces computing costs during inference time, enabling onboard deployment of the policy. In addition, we introduce a new action space design for the MAVs using linear acceleration and body rates. This choice, combined with a robust low-level controller, enables reliable sim-to-real transfer despite significant uncertainties caused by cable tension during dynamic 3D motion. We validate our method in various real-world experiments, including full-pose control under load model uncertainties, showing setpoint tracking performance comparable to the state-of-the-art centralized method. We also demonstrate cooperation amongst agents with heterogeneous control policies, and robustness to the complete in-flight loss of one MAV. Videos of experiments: https://autonomousrobots.nl/paper_websites/aerial-manipulation-marl