Manipulação Aérea Descentralizada de uma Carga Suspensa por Cabo utilizando Aprendizado por Reforço Multiagente

Decentralized Aerial Manipulation of a Cable-Suspended Load using Multi-Agent Reinforcement Learning

August 2, 2025

Autores: Jack Zeng, Andreu Matoses Gimenez, Eugene Vinitsky, Javier Alonso-Mora, Sihao Sun

cs.AI

Resumo

Este artigo apresenta o primeiro método descentralizado para permitir a manipulação no mundo real de uma carga suspensa por cabos com 6 graus de liberdade (6-DoF) utilizando uma equipe de Veículos Aéreos Micro (MAVs). Nosso método aproveita o aprendizado por reforço multiagente (MARL) para treinar uma política de controle de malha externa para cada MAV. Diferente dos controladores state-of-the-art que utilizam um esquema centralizado, nossa política não requer estados globais, comunicação entre MAVs, nem informações sobre MAVs vizinhos. Em vez disso, os agentes se comunicam implicitamente apenas por meio de observações da pose da carga, o que permite alta escalabilidade e flexibilidade. Isso também reduz significativamente os custos computacionais durante o tempo de inferência, possibilitando a implantação da política a bordo. Além disso, introduzimos um novo design de espaço de ação para os MAVs utilizando aceleração linear e taxas de rotação do corpo. Essa escolha, combinada com um controlador de baixo nível robusto, permite uma transferência confiável de simulação para o mundo real, apesar das incertezas significativas causadas pela tensão do cabo durante o movimento dinâmico em 3D. Validamos nosso método em vários experimentos do mundo real, incluindo o controle de pose completa sob incertezas do modelo da carga, mostrando desempenho de rastreamento de ponto de ajuste comparável ao método centralizado state-of-the-art. Também demonstramos a cooperação entre agentes com políticas de controle heterogêneas e robustez à perda completa em voo de um MAV. Vídeos dos experimentos: https://autonomousrobots.nl/paper_websites/aerial-manipulation-marl

English

This paper presents the first decentralized method to enable real-world 6-DoF manipulation of a cable-suspended load using a team of Micro-Aerial Vehicles (MAVs). Our method leverages multi-agent reinforcement learning (MARL) to train an outer-loop control policy for each MAV. Unlike state-of-the-art controllers that utilize a centralized scheme, our policy does not require global states, inter-MAV communications, nor neighboring MAV information. Instead, agents communicate implicitly through load pose observations alone, which enables high scalability and flexibility. It also significantly reduces computing costs during inference time, enabling onboard deployment of the policy. In addition, we introduce a new action space design for the MAVs using linear acceleration and body rates. This choice, combined with a robust low-level controller, enables reliable sim-to-real transfer despite significant uncertainties caused by cable tension during dynamic 3D motion. We validate our method in various real-world experiments, including full-pose control under load model uncertainties, showing setpoint tracking performance comparable to the state-of-the-art centralized method. We also demonstrate cooperation amongst agents with heterogeneous control policies, and robustness to the complete in-flight loss of one MAV. Videos of experiments: https://autonomousrobots.nl/paper_websites/aerial-manipulation-marl