ArrayBot: Reinforcement Learning für generalisierbare verteilte Manipulation durch Berührung

ArrayBot: Reinforcement Learning for Generalizable Distributed Manipulation through Touch

June 29, 2023

Autoren: Zhengrong Xue, Han Zhang, Jingwen Cheng, Zhengmao He, Yuanchen Ju, Changyi Lin, Gu Zhang, Huazhe Xu

cs.AI

Zusammenfassung

Wir präsentieren ArrayBot, ein verteiltes Manipulationssystem, das aus einem 16x16-Array vertikal gleitender Säulen besteht, die mit taktilen Sensoren ausgestattet sind und gleichzeitig Tischobjekte unterstützen, wahrnehmen und manipulieren können. Um generalisierbare verteilte Manipulation zu erreichen, nutzen wir Reinforcement-Learning (RL)-Algorithmen zur automatischen Entdeckung von Steuerungsstrategien. Angesichts der massiv redundanten Aktionen schlagen wir vor, den Aktionsraum umzugestalten, indem wir räumlich lokale Aktionsbereiche und niederfrequente Aktionen im Frequenzbereich berücksichtigen. Mit diesem umgestalteten Aktionsraum trainieren wir RL-Agenten, die verschiedene Objekte ausschließlich durch taktile Beobachtungen verschieben können. Überraschenderweise stellen wir fest, dass die entdeckte Strategie nicht nur auf ungesehene Objektformen im Simulator generalisieren kann, sondern auch ohne jegliche Domänenrandomisierung auf den physischen Roboter übertragbar ist. Durch die Nutzung der implementierten Strategie präsentieren wir zahlreiche Manipulationsaufgaben in der realen Welt, die das enorme Potenzial von RL auf ArrayBot für verteilte Manipulation verdeutlichen.

English

We present ArrayBot, a distributed manipulation system consisting of a 16 times 16 array of vertically sliding pillars integrated with tactile sensors, which can simultaneously support, perceive, and manipulate the tabletop objects. Towards generalizable distributed manipulation, we leverage reinforcement learning (RL) algorithms for the automatic discovery of control policies. In the face of the massively redundant actions, we propose to reshape the action space by considering the spatially local action patch and the low-frequency actions in the frequency domain. With this reshaped action space, we train RL agents that can relocate diverse objects through tactile observations only. Surprisingly, we find that the discovered policy can not only generalize to unseen object shapes in the simulator but also transfer to the physical robot without any domain randomization. Leveraging the deployed policy, we present abundant real-world manipulation tasks, illustrating the vast potential of RL on ArrayBot for distributed manipulation.