ArrayBot: Reinforcement Learning voor Generaliseerbare Gedistribueerde Manipulatie via Aanraking

ArrayBot: Reinforcement Learning for Generalizable Distributed Manipulation through Touch

June 29, 2023

Auteurs: Zhengrong Xue, Han Zhang, Jingwen Cheng, Zhengmao He, Yuanchen Ju, Changyi Lin, Gu Zhang, Huazhe Xu

cs.AI

Samenvatting

We presenteren ArrayBot, een gedistribueerd manipulatief systeem bestaande uit een 16x16 array van verticaal verschuifbare pijlers, geïntegreerd met tactiele sensoren, die tegelijkertijd tafelobjecten kunnen ondersteunen, waarnemen en manipuleren. Om generaliseerbare gedistribueerde manipulatie te bereiken, maken we gebruik van reinforcement learning (RL) algoritmen voor de automatische ontdekking van controlebeleidsregels. Gezien de massaal redundante acties, stellen we voor om de actieruimte te hervormen door rekening te houden met het ruimtelijk lokale actiepatroon en de laagfrequente acties in het frequentiedomein. Met deze hervormde actieruimte trainen we RL-agents die diverse objecten kunnen verplaatsen uitsluitend op basis van tactiele waarnemingen. Verrassend genoeg ontdekken we dat het gevonden beleid niet alleen kan generaliseren naar onbekende objectvormen in de simulator, maar ook kan worden overgedragen naar de fysieke robot zonder enige domeinrandomisatie. Door gebruik te maken van het geïmplementeerde beleid, presenteren we een overvloed aan real-world manipulatietaken, wat het enorme potentieel van RL op ArrayBot voor gedistribueerde manipulatie illustreert.

English

We present ArrayBot, a distributed manipulation system consisting of a 16 times 16 array of vertically sliding pillars integrated with tactile sensors, which can simultaneously support, perceive, and manipulate the tabletop objects. Towards generalizable distributed manipulation, we leverage reinforcement learning (RL) algorithms for the automatic discovery of control policies. In the face of the massively redundant actions, we propose to reshape the action space by considering the spatially local action patch and the low-frequency actions in the frequency domain. With this reshaped action space, we train RL agents that can relocate diverse objects through tactile observations only. Surprisingly, we find that the discovered policy can not only generalize to unseen object shapes in the simulator but also transfer to the physical robot without any domain randomization. Leveraging the deployed policy, we present abundant real-world manipulation tasks, illustrating the vast potential of RL on ArrayBot for distributed manipulation.