ArrayBot: Apprendimento per Rinforzo per la Manipolazione Distribuita Generalizzabile attraverso il Tatto

ArrayBot: Reinforcement Learning for Generalizable Distributed Manipulation through Touch

June 29, 2023

Autori: Zhengrong Xue, Han Zhang, Jingwen Cheng, Zhengmao He, Yuanchen Ju, Changyi Lin, Gu Zhang, Huazhe Xu

cs.AI

Abstract

Presentiamo ArrayBot, un sistema di manipolazione distribuita costituito da una matrice 16x16 di pilastri scorrevoli verticalmente integrati con sensori tattili, in grado di supportare, percepire e manipolare simultaneamente oggetti su superficie. Verso una manipolazione distribuita generalizzabile, sfruttiamo algoritmi di apprendimento per rinforzo (RL) per la scoperta automatica di politiche di controllo. Di fronte alla massiccia ridondanza delle azioni, proponiamo di rimodellare lo spazio delle azioni considerando la patch di azione spazialmente locale e le azioni a bassa frequenza nel dominio delle frequenze. Con questo spazio delle azioni rimodellato, addestriamo agenti RL che possono riposizionare oggetti diversi attraverso sole osservazioni tattili. Sorprendentemente, scopriamo che la politica individuata non solo può generalizzare a forme di oggetti non viste nel simulatore, ma anche trasferirsi al robot fisico senza alcuna randomizzazione del dominio. Sfruttando la politica implementata, presentiamo numerosi compiti di manipolazione nel mondo reale, illustrando il vasto potenziale dell'RL su ArrayBot per la manipolazione distribuita.

English

We present ArrayBot, a distributed manipulation system consisting of a 16 times 16 array of vertically sliding pillars integrated with tactile sensors, which can simultaneously support, perceive, and manipulate the tabletop objects. Towards generalizable distributed manipulation, we leverage reinforcement learning (RL) algorithms for the automatic discovery of control policies. In the face of the massively redundant actions, we propose to reshape the action space by considering the spatially local action patch and the low-frequency actions in the frequency domain. With this reshaped action space, we train RL agents that can relocate diverse objects through tactile observations only. Surprisingly, we find that the discovered policy can not only generalize to unseen object shapes in the simulator but also transfer to the physical robot without any domain randomization. Leveraging the deployed policy, we present abundant real-world manipulation tasks, illustrating the vast potential of RL on ArrayBot for distributed manipulation.