ArrayBot：触覚を通じた汎用的分散操作のための強化学習

要旨

我々は、16×16の垂直スライド式ピラーと触覚センサーを統合した分散操作システム「ArrayBot」を提案する。このシステムは、テーブル上の物体を同時に支持、知覚、操作することができる。汎用的な分散操作を目指して、我々は強化学習（RL）アルゴリズムを活用し、制御ポリシーの自動発見を行う。膨大な冗長性を持つ行動空間に対処するため、空間的に局所的な行動パッチと周波数領域における低周波行動を考慮して行動空間を再構築する。この再構築された行動空間を用いて、触覚観測のみを通じて多様な物体を再配置するRLエージェントを訓練する。驚くべきことに、発見されたポリシーはシミュレータ内で未見の物体形状に一般化できるだけでなく、ドメインランダム化なしで物理ロボットに転移することも確認された。展開されたポリシーを活用し、我々は豊富な実世界の操作タスクを提示し、ArrayBotにおけるRLの分散操作における広大な可能性を明らかにする。

English

We present ArrayBot, a distributed manipulation system consisting of a 16 times 16 array of vertically sliding pillars integrated with tactile sensors, which can simultaneously support, perceive, and manipulate the tabletop objects. Towards generalizable distributed manipulation, we leverage reinforcement learning (RL) algorithms for the automatic discovery of control policies. In the face of the massively redundant actions, we propose to reshape the action space by considering the spatially local action patch and the low-frequency actions in the frequency domain. With this reshaped action space, we train RL agents that can relocate diverse objects through tactile observations only. Surprisingly, we find that the discovered policy can not only generalize to unseen object shapes in the simulator but also transfer to the physical robot without any domain randomization. Leveraging the deployed policy, we present abundant real-world manipulation tasks, illustrating the vast potential of RL on ArrayBot for distributed manipulation.

ArrayBot：触覚を通じた汎用的分散操作のための強化学習

ArrayBot: Reinforcement Learning for Generalizable Distributed Manipulation through Touch

要旨

Support