DexArt: Benchmarking van generaliseerbare behendige manipulatie met gearticuleerde objecten

DexArt: Benchmarking Generalizable Dexterous Manipulation with Articulated Objects

May 9, 2023

Auteurs: Chen Bao, Helin Xu, Yuzhe Qin, Xiaolong Wang

cs.AI

Samenvatting

Om robots voor algemene doeleinden mogelijk te maken, moeten ze dagelijks gearticuleerde objecten kunnen bedienen zoals mensen dat doen. De huidige robotmanipulatie heeft sterk vertrouwd op het gebruik van een parallelle grijper, wat de robot beperkt tot een beperkte set objecten. Aan de andere kant zal het gebruik van een robothand met meerdere vingers een betere benadering van menselijk gedrag mogelijk maken en de robot in staat stellen om diverse gearticuleerde objecten te bedienen. Hiertoe stellen we een nieuwe benchmark voor, genaamd DexArt, waarbij het gaat om behendige manipulatie van gearticuleerde objecten in een fysieke simulator. In onze benchmark definiëren we meerdere complexe manipulatietaken, en de robothand zal diverse gearticuleerde objecten moeten manipuleren binnen elke taak. Onze belangrijkste focus is het evalueren van de generaliseerbaarheid van het geleerde beleid op onbekende gearticuleerde objecten. Dit is zeer uitdagend gezien de hoge mate van vrijheid van zowel handen als objecten. We gebruiken Reinforcement Learning in combinatie met 3D-representatie leren om generalisatie te bereiken. Door uitgebreide studies bieden we nieuwe inzichten in hoe 3D-representatie leren de besluitvorming in RL beïnvloedt bij 3D-puntwolkinputs. Meer details zijn te vinden op https://www.chenbao.tech/dexart/.

English

To enable general-purpose robots, we will require the robot to operate daily articulated objects as humans do. Current robot manipulation has heavily relied on using a parallel gripper, which restricts the robot to a limited set of objects. On the other hand, operating with a multi-finger robot hand will allow better approximation to human behavior and enable the robot to operate on diverse articulated objects. To this end, we propose a new benchmark called DexArt, which involves Dexterous manipulation with Articulated objects in a physical simulator. In our benchmark, we define multiple complex manipulation tasks, and the robot hand will need to manipulate diverse articulated objects within each task. Our main focus is to evaluate the generalizability of the learned policy on unseen articulated objects. This is very challenging given the high degrees of freedom of both hands and objects. We use Reinforcement Learning with 3D representation learning to achieve generalization. Through extensive studies, we provide new insights into how 3D representation learning affects decision making in RL with 3D point cloud inputs. More details can be found at https://www.chenbao.tech/dexart/.