ChatPaper.aiChatPaper

Dezentrale Luftmanipulation einer kabelaufgehängten Last mittels Multi-Agenten-Reinforcement-Learning

Decentralized Aerial Manipulation of a Cable-Suspended Load using Multi-Agent Reinforcement Learning

August 2, 2025
papers.authors: Jack Zeng, Andreu Matoses Gimenez, Eugene Vinitsky, Javier Alonso-Mora, Sihao Sun
cs.AI

papers.abstract

Dieses Papier präsentiert die erste dezentrale Methode zur Echtzeit-Manipulation einer kabelaufgehängten Last mit sechs Freiheitsgraden (6-DoF) durch ein Team von Mikro-Luftfahrzeugen (MAVs). Unsere Methode nutzt Multi-Agenten-Reinforcement-Learning (MARL), um eine äußere Regelungspolitik für jedes MAV zu trainieren. Im Gegensatz zu modernsten Reglern, die ein zentralisiertes Schema verwenden, benötigt unsere Politik weder globale Zustände, Kommunikation zwischen den MAVs noch Informationen über benachbarte MAVs. Stattdessen kommunizieren die Agenten implizit allein durch Beobachtungen der Lastpose, was hohe Skalierbarkeit und Flexibilität ermöglicht. Dies reduziert auch die Rechenkosten während der Inferenzzeit erheblich und ermöglicht die Onboard-Bereitstellung der Politik. Zusätzlich führen wir einen neuen Aktionsraum für die MAVs ein, der lineare Beschleunigung und Körperraten verwendet. Diese Wahl, kombiniert mit einem robusten Low-Level-Regler, ermöglicht einen zuverlässigen Sim-to-Real-Transfer trotz erheblicher Unsicherheiten, die durch die Kabellast während dynamischer 3D-Bewegungen verursacht werden. Wir validieren unsere Methode in verschiedenen realen Experimenten, einschließlich der Vollpose-Kontrolle unter Unsicherheiten des Lastmodells, und zeigen eine Setpoint-Tracking-Leistung, die mit der modernsten zentralisierten Methode vergleichbar ist. Wir demonstrieren auch die Zusammenarbeit zwischen Agenten mit heterogenen Regelungspolitiken und die Robustheit gegenüber dem vollständigen Ausfall eines MAVs während des Fluges. Videos der Experimente: https://autonomousrobots.nl/paper_websites/aerial-manipulation-marl
English
This paper presents the first decentralized method to enable real-world 6-DoF manipulation of a cable-suspended load using a team of Micro-Aerial Vehicles (MAVs). Our method leverages multi-agent reinforcement learning (MARL) to train an outer-loop control policy for each MAV. Unlike state-of-the-art controllers that utilize a centralized scheme, our policy does not require global states, inter-MAV communications, nor neighboring MAV information. Instead, agents communicate implicitly through load pose observations alone, which enables high scalability and flexibility. It also significantly reduces computing costs during inference time, enabling onboard deployment of the policy. In addition, we introduce a new action space design for the MAVs using linear acceleration and body rates. This choice, combined with a robust low-level controller, enables reliable sim-to-real transfer despite significant uncertainties caused by cable tension during dynamic 3D motion. We validate our method in various real-world experiments, including full-pose control under load model uncertainties, showing setpoint tracking performance comparable to the state-of-the-art centralized method. We also demonstrate cooperation amongst agents with heterogeneous control policies, and robustness to the complete in-flight loss of one MAV. Videos of experiments: https://autonomousrobots.nl/paper_websites/aerial-manipulation-marl
PDF22August 14, 2025