ArrayBot: Обучение с подкреплением для обобщаемого распределенного манипулирования через тактильные ощущения

ArrayBot: Reinforcement Learning for Generalizable Distributed Manipulation through Touch

June 29, 2023

Авторы: Zhengrong Xue, Han Zhang, Jingwen Cheng, Zhengmao He, Yuanchen Ju, Changyi Lin, Gu Zhang, Huazhe Xu

cs.AI

Аннотация

Мы представляем ArrayBot — систему распределенного манипулирования, состоящую из массива 16×16 вертикально скользящих столбцов, интегрированных с тактильными сенсорами, которая способна одновременно поддерживать, воспринимать и манипулировать объектами на поверхности стола. Для достижения обобщаемого распределенного манипулирования мы используем алгоритмы обучения с подкреплением (RL) для автоматического поиска стратегий управления. В условиях массовой избыточности действий мы предлагаем преобразовать пространство действий, учитывая локальные пространственные патчи действий и низкочастотные действия в частотной области. С этим преобразованным пространством действий мы обучаем RL-агентов, способных перемещать разнообразные объекты, используя только тактильные наблюдения. Удивительно, но обнаруженная стратегия не только обобщается на неизвестные формы объектов в симуляторе, но и переносится на физического робота без какой-либо рандомизации домена. Используя развернутую стратегию, мы демонстрируем множество задач манипулирования в реальном мире, иллюстрируя огромный потенциал RL на ArrayBot для распределенного манипулирования.

English

We present ArrayBot, a distributed manipulation system consisting of a 16 times 16 array of vertically sliding pillars integrated with tactile sensors, which can simultaneously support, perceive, and manipulate the tabletop objects. Towards generalizable distributed manipulation, we leverage reinforcement learning (RL) algorithms for the automatic discovery of control policies. In the face of the massively redundant actions, we propose to reshape the action space by considering the spatially local action patch and the low-frequency actions in the frequency domain. With this reshaped action space, we train RL agents that can relocate diverse objects through tactile observations only. Surprisingly, we find that the discovered policy can not only generalize to unseen object shapes in the simulator but also transfer to the physical robot without any domain randomization. Leveraging the deployed policy, we present abundant real-world manipulation tasks, illustrating the vast potential of RL on ArrayBot for distributed manipulation.