ArrayBot: Aprendizaje por Refuerzo para la Manipulación Distribuida Generalizable mediante el Tacto

ArrayBot: Reinforcement Learning for Generalizable Distributed Manipulation through Touch

June 29, 2023

Autores: Zhengrong Xue, Han Zhang, Jingwen Cheng, Zhengmao He, Yuanchen Ju, Changyi Lin, Gu Zhang, Huazhe Xu

cs.AI

Resumen

Presentamos ArrayBot, un sistema de manipulación distribuida compuesto por una matriz de 16x16 pilares deslizantes verticales integrados con sensores táctiles, que pueden soportar, percibir y manipular simultáneamente objetos sobre una superficie. Para lograr una manipulación distribuida generalizable, aprovechamos algoritmos de aprendizaje por refuerzo (RL) para el descubrimiento automático de políticas de control. Ante la redundancia masiva de acciones, proponemos remodelar el espacio de acción considerando parches de acción localizados espacialmente y acciones de baja frecuencia en el dominio de la frecuencia. Con este espacio de acción remodelado, entrenamos agentes de RL que pueden reubicar diversos objetos utilizando únicamente observaciones táctiles. Sorprendentemente, descubrimos que la política aprendida no solo puede generalizarse a formas de objetos no vistas en el simulador, sino también transferirse al robot físico sin necesidad de aleatorización de dominio. Aprovechando la política implementada, presentamos numerosas tareas de manipulación en el mundo real, ilustrando el vasto potencial del RL en ArrayBot para la manipulación distribuida.

English

We present ArrayBot, a distributed manipulation system consisting of a 16 times 16 array of vertically sliding pillars integrated with tactile sensors, which can simultaneously support, perceive, and manipulate the tabletop objects. Towards generalizable distributed manipulation, we leverage reinforcement learning (RL) algorithms for the automatic discovery of control policies. In the face of the massively redundant actions, we propose to reshape the action space by considering the spatially local action patch and the low-frequency actions in the frequency domain. With this reshaped action space, we train RL agents that can relocate diverse objects through tactile observations only. Surprisingly, we find that the discovered policy can not only generalize to unseen object shapes in the simulator but also transfer to the physical robot without any domain randomization. Leveraging the deployed policy, we present abundant real-world manipulation tasks, illustrating the vast potential of RL on ArrayBot for distributed manipulation.