ArrayBot: 터치를 통한 일반화 가능한 분산 조작을 위한 강화 학습

초록

우리는 16x16 배열의 수직 슬라이딩 기둥과 촉각 센서가 통합된 분산 조작 시스템인 ArrayBot을 소개한다. 이 시스템은 테이블 위의 물체를 동시에 지지, 감지, 조작할 수 있다. 일반화 가능한 분산 조작을 위해, 우리는 강화 학습(RL) 알고리즘을 활용하여 제어 정책을 자동으로 발견한다. 대규모로 중복된 동작에 직면하여, 우리는 공간적으로 지역적인 동작 패치와 주파수 영역에서의 저주파 동작을 고려하여 동작 공간을 재구성한다. 이 재구성된 동작 공간을 통해, 우리는 촉각 관찰만으로 다양한 물체를 재배치할 수 있는 RL 에이전트를 훈련시킨다. 놀랍게도, 발견된 정책은 시뮬레이터에서 보지 못한 물체 형태로 일반화될 뿐만 아니라, 도메인 무작위화 없이도 실제 로봇으로 전이될 수 있다. 배포된 정책을 활용하여, 우리는 분산 조작을 위한 ArrayBot의 RL의 광대한 잠재력을 보여주는 다양한 실제 조작 작업을 제시한다.

English

We present ArrayBot, a distributed manipulation system consisting of a 16 times 16 array of vertically sliding pillars integrated with tactile sensors, which can simultaneously support, perceive, and manipulate the tabletop objects. Towards generalizable distributed manipulation, we leverage reinforcement learning (RL) algorithms for the automatic discovery of control policies. In the face of the massively redundant actions, we propose to reshape the action space by considering the spatially local action patch and the low-frequency actions in the frequency domain. With this reshaped action space, we train RL agents that can relocate diverse objects through tactile observations only. Surprisingly, we find that the discovered policy can not only generalize to unseen object shapes in the simulator but also transfer to the physical robot without any domain randomization. Leveraging the deployed policy, we present abundant real-world manipulation tasks, illustrating the vast potential of RL on ArrayBot for distributed manipulation.

ArrayBot: 터치를 통한 일반화 가능한 분산 조작을 위한 강화 학습

ArrayBot: Reinforcement Learning for Generalizable Distributed Manipulation through Touch

초록

Support