RobustDexGrasp: Robuust Behendig Grijpen van Algemene Objecten vanuit Enkelvoudige Waarneming

RobustDexGrasp: Robust Dexterous Grasping of General Objects from Single-view Perception

April 7, 2025

Auteurs: Hui Zhang, Zijian Wu, Linyi Huang, Sammy Christen, Jie Song

cs.AI

Samenvatting

Het robuust grijpen van diverse objecten op basis van enkelvoudige waarneming is fundamenteel voor behendige robots. Eerdere werken vertrouwen vaak op volledig waarneembare objecten, expertdemonstraties of statische grijpposities, wat hun generalisatievermogen en aanpassingsvermogen aan externe verstoringen beperkt. In dit artikel presenteren we een op reinforcement learning gebaseerd framework dat zero-shot dynamisch behendig grijpen van een breed scala aan onbekende objecten mogelijk maakt op basis van enkelvoudige waarneming, terwijl het adaptieve bewegingen uitvoert in reactie op externe verstoringen. We gebruiken een handcentrische objectrepresentatie voor het extraheren van vormkenmerken die de interactie-relevante lokale vormen benadrukken, wat de robuustheid tegen vormvariaties en onzekerheid vergroot. Om effectieve handaanpassing aan verstoringen met beperkte waarnemingen mogelijk te maken, stellen we een gemengde curriculumleerstrategie voor, die eerst gebruikmaakt van imitation learning om een beleid te destilleren dat is getraind met geprivilegieerde real-time visueel-tactiele feedback, en geleidelijk overgaat naar reinforcement learning om adaptieve bewegingen te leren onder verstoringen veroorzaakt door waarnemingsruis en dynamische randomisatie. Onze experimenten tonen een sterke generalisatie in het grijpen van onbekende objecten met willekeurige posities, met succespercentages van 97,0% over 247.786 gesimuleerde objecten en 94,6% over 512 echte objecten. We demonstreren ook de robuustheid van onze methode tegen diverse verstoringen, waaronder onwaargenomen objectbeweging en externe krachten, door zowel kwantitatieve als kwalitatieve evaluaties. Projectpagina: https://zdchan.github.io/Robust_DexGrasp/

English

Robust grasping of various objects from single-view perception is fundamental for dexterous robots. Previous works often rely on fully observable objects, expert demonstrations, or static grasping poses, which restrict their generalization ability and adaptability to external disturbances. In this paper, we present a reinforcement-learning-based framework that enables zero-shot dynamic dexterous grasping of a wide range of unseen objects from single-view perception, while performing adaptive motions to external disturbances. We utilize a hand-centric object representation for shape feature extraction that emphasizes interaction-relevant local shapes, enhancing robustness to shape variance and uncertainty. To enable effective hand adaptation to disturbances with limited observations, we propose a mixed curriculum learning strategy, which first utilizes imitation learning to distill a policy trained with privileged real-time visual-tactile feedback, and gradually transfers to reinforcement learning to learn adaptive motions under disturbances caused by observation noises and dynamic randomization. Our experiments demonstrate strong generalization in grasping unseen objects with random poses, achieving success rates of 97.0% across 247,786 simulated objects and 94.6% across 512 real objects. We also demonstrate the robustness of our method to various disturbances, including unobserved object movement and external forces, through both quantitative and qualitative evaluations. Project Page: https://zdchan.github.io/Robust_DexGrasp/