Децентрализованное аэро-манипулирование подвешенным на тросе грузом с использованием многопользовательского обучения с подкреплением
Decentralized Aerial Manipulation of a Cable-Suspended Load using Multi-Agent Reinforcement Learning
August 2, 2025
Авторы: Jack Zeng, Andreu Matoses Gimenez, Eugene Vinitsky, Javier Alonso-Mora, Sihao Sun
cs.AI
Аннотация
В данной статье представлен первый децентрализованный метод, позволяющий осуществлять манипуляции с кабельно-подвешенным грузом в реальном мире с шестью степенями свободы (6-DoF) с использованием группы микролетательных аппаратов (MAV). Наш метод использует многопользовательское обучение с подкреплением (MARL) для обучения внешнего контурного управления для каждого MAV. В отличие от современных контроллеров, использующих централизованную схему, наш метод не требует глобальных состояний, меж-MAV коммуникаций или информации о соседних MAV. Вместо этого агенты взаимодействуют неявно через наблюдения за положением груза, что обеспечивает высокую масштабируемость и гибкость. Это также значительно снижает вычислительные затраты во время выполнения, что позволяет развертывать политику на борту. Кроме того, мы представляем новую конструкцию пространства действий для MAV, использующую линейное ускорение и угловые скорости. Этот выбор, в сочетании с надежным низкоуровневым контроллером, обеспечивает надежный перенос из симуляции в реальность, несмотря на значительные неопределенности, вызванные натяжением кабеля во время динамического 3D-движения. Мы проверяем наш метод в различных реальных экспериментах, включая управление полным положением при неопределенности модели груза, показывая производительность отслеживания заданных точек, сопоставимую с современным централизованным методом. Мы также демонстрируем сотрудничество между агентами с гетерогенными политиками управления и устойчивость к полной потере одного MAV в полете. Видео экспериментов: https://autonomousrobots.nl/paper_websites/aerial-manipulation-marl
English
This paper presents the first decentralized method to enable real-world 6-DoF
manipulation of a cable-suspended load using a team of Micro-Aerial Vehicles
(MAVs). Our method leverages multi-agent reinforcement learning (MARL) to train
an outer-loop control policy for each MAV. Unlike state-of-the-art controllers
that utilize a centralized scheme, our policy does not require global states,
inter-MAV communications, nor neighboring MAV information. Instead, agents
communicate implicitly through load pose observations alone, which enables high
scalability and flexibility. It also significantly reduces computing costs
during inference time, enabling onboard deployment of the policy. In addition,
we introduce a new action space design for the MAVs using linear acceleration
and body rates. This choice, combined with a robust low-level controller,
enables reliable sim-to-real transfer despite significant uncertainties caused
by cable tension during dynamic 3D motion. We validate our method in various
real-world experiments, including full-pose control under load model
uncertainties, showing setpoint tracking performance comparable to the
state-of-the-art centralized method. We also demonstrate cooperation amongst
agents with heterogeneous control policies, and robustness to the complete
in-flight loss of one MAV. Videos of experiments:
https://autonomousrobots.nl/paper_websites/aerial-manipulation-marl