ArrayBot : Apprentissage par renforcement pour la manipulation distribuée généralisable par le toucher

ArrayBot: Reinforcement Learning for Generalizable Distributed Manipulation through Touch

June 29, 2023

Auteurs: Zhengrong Xue, Han Zhang, Jingwen Cheng, Zhengmao He, Yuanchen Ju, Changyi Lin, Gu Zhang, Huazhe Xu

cs.AI

Résumé

Nous présentons ArrayBot, un système de manipulation distribué composé d'une grille de 16 par 16 piliers coulissants verticalement, intégrant des capteurs tactiles, capables de supporter, percevoir et manipuler simultanément des objets sur une surface plane. Pour une manipulation distribuée généralisable, nous exploitons des algorithmes d'apprentissage par renforcement (RL) pour la découverte automatique de politiques de contrôle. Face à la redondance massive des actions, nous proposons de remodeler l'espace d'action en considérant des patchs d'action locaux dans l'espace et des actions à basse fréquence dans le domaine fréquentiel. Avec cet espace d'action remodelé, nous entraînons des agents RL capables de déplacer divers objets uniquement grâce à des observations tactiles. Étonnamment, nous constatons que la politique découverte peut non seulement généraliser à des formes d'objets inédites dans le simulateur, mais aussi se transférer au robot physique sans aucune randomisation de domaine. En exploitant la politique déployée, nous présentons de nombreuses tâches de manipulation dans le monde réel, illustrant le vaste potentiel du RL sur ArrayBot pour la manipulation distribuée.

English

We present ArrayBot, a distributed manipulation system consisting of a 16 times 16 array of vertically sliding pillars integrated with tactile sensors, which can simultaneously support, perceive, and manipulate the tabletop objects. Towards generalizable distributed manipulation, we leverage reinforcement learning (RL) algorithms for the automatic discovery of control policies. In the face of the massively redundant actions, we propose to reshape the action space by considering the spatially local action patch and the low-frequency actions in the frequency domain. With this reshaped action space, we train RL agents that can relocate diverse objects through tactile observations only. Surprisingly, we find that the discovered policy can not only generalize to unseen object shapes in the simulator but also transfer to the physical robot without any domain randomization. Leveraging the deployed policy, we present abundant real-world manipulation tasks, illustrating the vast potential of RL on ArrayBot for distributed manipulation.