RobustDexGrasp: Robuste geschickte Greifbewegung von allgemeinen Objekten basierend auf Einzelbildwahrnehmung

RobustDexGrasp: Robust Dexterous Grasping of General Objects from Single-view Perception

April 7, 2025

Autoren: Hui Zhang, Zijian Wu, Linyi Huang, Sammy Christen, Jie Song

cs.AI

Zusammenfassung

Robustes Greifen verschiedener Objekte basierend auf Einzelbildwahrnehmung ist grundlegend für geschickte Roboter. Bisherige Arbeiten stützen sich oft auf vollständig beobachtbare Objekte, Experten-Demonstrationen oder statische Greifposen, was ihre Generalisierungsfähigkeit und Anpassungsfähigkeit an externe Störungen einschränkt. In dieser Arbeit präsentieren wir ein auf Verstärkungslernen basierendes Framework, das das null-Shot dynamische geschickte Greifen einer Vielzahl von unbekannten Objekten aus Einzelbildwahrnehmung ermöglicht, während adaptive Bewegungen als Reaktion auf externe Störungen ausgeführt werden. Wir verwenden eine handzentrische Objektdarstellung zur Extraktion von Formmerkmalen, die interaktionsrelevante lokale Formen betont und so die Robustheit gegenüber Formvarianz und Unsicherheit erhöht. Um eine effektive Handanpassung an Störungen bei begrenzten Beobachtungen zu ermöglichen, schlagen wir eine gemischte Curriculum-Lernstrategie vor, die zunächst Imitationslernen nutzt, um eine mit privilegiertem Echtzeit-Feedback aus visuellen und taktilen Daten trainierte Policy zu destillieren, und schrittweise zu Verstärkungslernen übergeht, um adaptive Bewegungen unter Störungen durch Beobachtungsrauschen und dynamische Randomisierung zu erlernen. Unsere Experimente zeigen eine starke Generalisierung beim Greifen unbekannter Objekte mit zufälligen Posen, mit Erfolgsraten von 97,0 % über 247.786 simulierte Objekte und 94,6 % über 512 reale Objekte. Wir demonstrieren auch die Robustheit unserer Methode gegenüber verschiedenen Störungen, einschließlich unbeobachteter Objektbewegungen und externer Kräfte, durch quantitative und qualitative Auswertungen. Projektseite: https://zdchan.github.io/Robust_DexGrasp/

English

Robust grasping of various objects from single-view perception is fundamental for dexterous robots. Previous works often rely on fully observable objects, expert demonstrations, or static grasping poses, which restrict their generalization ability and adaptability to external disturbances. In this paper, we present a reinforcement-learning-based framework that enables zero-shot dynamic dexterous grasping of a wide range of unseen objects from single-view perception, while performing adaptive motions to external disturbances. We utilize a hand-centric object representation for shape feature extraction that emphasizes interaction-relevant local shapes, enhancing robustness to shape variance and uncertainty. To enable effective hand adaptation to disturbances with limited observations, we propose a mixed curriculum learning strategy, which first utilizes imitation learning to distill a policy trained with privileged real-time visual-tactile feedback, and gradually transfers to reinforcement learning to learn adaptive motions under disturbances caused by observation noises and dynamic randomization. Our experiments demonstrate strong generalization in grasping unseen objects with random poses, achieving success rates of 97.0% across 247,786 simulated objects and 94.6% across 512 real objects. We also demonstrate the robustness of our method to various disturbances, including unobserved object movement and external forces, through both quantitative and qualitative evaluations. Project Page: https://zdchan.github.io/Robust_DexGrasp/