DexArt : Évaluation de la manipulation dextre généralisable avec des objets articulés

DexArt: Benchmarking Generalizable Dexterous Manipulation with Articulated Objects

May 9, 2023

Auteurs: Chen Bao, Helin Xu, Yuzhe Qin, Xiaolong Wang

cs.AI

Résumé

Pour permettre aux robots polyvalents d'opérer, nous devrons leur permettre de manipuler quotidiennement des objets articulés comme le font les humains. La manipulation robotique actuelle s'est largement appuyée sur l'utilisation d'une pince parallèle, ce qui limite le robot à un ensemble restreint d'objets. En revanche, l'utilisation d'une main robotique multifinger permettra une meilleure approximation du comportement humain et permettra au robot de manipuler une diversité d'objets articulés. À cette fin, nous proposons un nouveau benchmark appelé DexArt, qui implique la manipulation dextre d'objets articulés dans un simulateur physique. Dans notre benchmark, nous définissons plusieurs tâches de manipulation complexes, et la main robotique devra manipuler divers objets articulés dans chaque tâche. Notre objectif principal est d'évaluer la généralisation de la politique apprise sur des objets articulés non vus. Cela est très difficile étant donné les degrés de liberté élevés des mains et des objets. Nous utilisons l'apprentissage par renforcement avec l'apprentissage de représentations 3D pour atteindre la généralisation. À travers des études approfondies, nous fournissons de nouvelles perspectives sur la manière dont l'apprentissage de représentations 3D affecte la prise de décision dans l'apprentissage par renforcement avec des entrées de nuages de points 3D. Plus de détails sont disponibles à l'adresse https://www.chenbao.tech/dexart/.

English

To enable general-purpose robots, we will require the robot to operate daily articulated objects as humans do. Current robot manipulation has heavily relied on using a parallel gripper, which restricts the robot to a limited set of objects. On the other hand, operating with a multi-finger robot hand will allow better approximation to human behavior and enable the robot to operate on diverse articulated objects. To this end, we propose a new benchmark called DexArt, which involves Dexterous manipulation with Articulated objects in a physical simulator. In our benchmark, we define multiple complex manipulation tasks, and the robot hand will need to manipulate diverse articulated objects within each task. Our main focus is to evaluate the generalizability of the learned policy on unseen articulated objects. This is very challenging given the high degrees of freedom of both hands and objects. We use Reinforcement Learning with 3D representation learning to achieve generalization. Through extensive studies, we provide new insights into how 3D representation learning affects decision making in RL with 3D point cloud inputs. More details can be found at https://www.chenbao.tech/dexart/.