RobustDexGrasp : Prise en main dextre robuste d'objets généraux à partir d'une perception monoculaire

RobustDexGrasp: Robust Dexterous Grasping of General Objects from Single-view Perception

April 7, 2025

Auteurs: Hui Zhang, Zijian Wu, Linyi Huang, Sammy Christen, Jie Song

cs.AI

Résumé

La préhension robuste de divers objets à partir d'une perception monoculaire est fondamentale pour les robots habiles. Les travaux précédents reposent souvent sur des objets entièrement observables, des démonstrations expertes ou des poses de préhension statiques, ce qui limite leur capacité de généralisation et leur adaptabilité aux perturbations externes. Dans cet article, nous présentons un cadre basé sur l'apprentissage par renforcement qui permet une préhension dynamique habile de zéro-shot sur une large gamme d'objets non vus à partir d'une perception monoculaire, tout en effectuant des mouvements adaptatifs face aux perturbations externes. Nous utilisons une représentation d'objet centrée sur la main pour l'extraction de caractéristiques de forme, mettant l'accent sur les formes locales pertinentes pour l'interaction, améliorant ainsi la robustesse face à la variance et à l'incertitude des formes. Pour permettre une adaptation efficace de la main aux perturbations avec des observations limitées, nous proposons une stratégie d'apprentissage mixte par curriculum, qui utilise d'abord l'apprentissage par imitation pour distiller une politique entraînée avec un retour visuo-tactile en temps réel privilégié, puis transfère progressivement à l'apprentissage par renforcement pour apprendre des mouvements adaptatifs sous des perturbations causées par des bruits d'observation et une randomisation dynamique. Nos expériences démontrent une forte généralisation dans la préhension d'objets non vus avec des poses aléatoires, atteignant des taux de réussite de 97,0 % sur 247 786 objets simulés et 94,6 % sur 512 objets réels. Nous montrons également la robustesse de notre méthode face à diverses perturbations, y compris le mouvement non observé des objets et les forces externes, à travers des évaluations quantitatives et qualitatives. Page du projet : https://zdchan.github.io/Robust_DexGrasp/

English

Robust grasping of various objects from single-view perception is fundamental for dexterous robots. Previous works often rely on fully observable objects, expert demonstrations, or static grasping poses, which restrict their generalization ability and adaptability to external disturbances. In this paper, we present a reinforcement-learning-based framework that enables zero-shot dynamic dexterous grasping of a wide range of unseen objects from single-view perception, while performing adaptive motions to external disturbances. We utilize a hand-centric object representation for shape feature extraction that emphasizes interaction-relevant local shapes, enhancing robustness to shape variance and uncertainty. To enable effective hand adaptation to disturbances with limited observations, we propose a mixed curriculum learning strategy, which first utilizes imitation learning to distill a policy trained with privileged real-time visual-tactile feedback, and gradually transfers to reinforcement learning to learn adaptive motions under disturbances caused by observation noises and dynamic randomization. Our experiments demonstrate strong generalization in grasping unseen objects with random poses, achieving success rates of 97.0% across 247,786 simulated objects and 94.6% across 512 real objects. We also demonstrate the robustness of our method to various disturbances, including unobserved object movement and external forces, through both quantitative and qualitative evaluations. Project Page: https://zdchan.github.io/Robust_DexGrasp/