ArrayBot: Aprendizado por Reforço para Manipulação Distribuída Generalizável por Meio do Tato

ArrayBot: Reinforcement Learning for Generalizable Distributed Manipulation through Touch

June 29, 2023

Autores: Zhengrong Xue, Han Zhang, Jingwen Cheng, Zhengmao He, Yuanchen Ju, Changyi Lin, Gu Zhang, Huazhe Xu

cs.AI

Resumo

Apresentamos o ArrayBot, um sistema de manipulação distribuída composto por uma matriz de 16 x 16 pilares deslizantes verticalmente integrados com sensores táteis, que podem suportar, perceber e manipular simultaneamente objetos sobre uma superfície. Visando a manipulação distribuída generalizável, utilizamos algoritmos de aprendizado por reforço (RL) para a descoberta automática de políticas de controle. Diante da enorme redundância de ações, propomos remodelar o espaço de ação considerando o patch de ação local espacial e as ações de baixa frequência no domínio da frequência. Com esse espaço de ação remodelado, treinamos agentes de RL que podem reposicionar diversos objetos apenas por meio de observações táteis. Surpreendentemente, descobrimos que a política encontrada não apenas generaliza para formas de objetos não vistas no simulador, mas também se transfere para o robô físico sem qualquer randomização de domínio. Aproveitando a política implantada, apresentamos diversas tarefas de manipulação no mundo real, ilustrando o vasto potencial do RL no ArrayBot para manipulação distribuída.

English

We present ArrayBot, a distributed manipulation system consisting of a 16 times 16 array of vertically sliding pillars integrated with tactile sensors, which can simultaneously support, perceive, and manipulate the tabletop objects. Towards generalizable distributed manipulation, we leverage reinforcement learning (RL) algorithms for the automatic discovery of control policies. In the face of the massively redundant actions, we propose to reshape the action space by considering the spatially local action patch and the low-frequency actions in the frequency domain. With this reshaped action space, we train RL agents that can relocate diverse objects through tactile observations only. Surprisingly, we find that the discovered policy can not only generalize to unseen object shapes in the simulator but also transfer to the physical robot without any domain randomization. Leveraging the deployed policy, we present abundant real-world manipulation tasks, illustrating the vast potential of RL on ArrayBot for distributed manipulation.