RobustDexGrasp: Agarre Diestro Robusto de Objetos Generales a partir de Percepción de Vista Única

RobustDexGrasp: Robust Dexterous Grasping of General Objects from Single-view Perception

April 7, 2025

Autores: Hui Zhang, Zijian Wu, Linyi Huang, Sammy Christen, Jie Song

cs.AI

Resumen

La capacidad robusta de agarrar diversos objetos a partir de percepciones de una sola vista es fundamental para robots diestros. Trabajos anteriores suelen depender de objetos completamente observables, demostraciones expertas o poses estáticas de agarre, lo que limita su capacidad de generalización y adaptabilidad a perturbaciones externas. En este artículo, presentamos un marco basado en aprendizaje por refuerzo que permite el agarre diestro dinámico de cero disparos (zero-shot) de una amplia gama de objetos no vistos a partir de percepciones de una sola vista, mientras se realizan movimientos adaptativos a perturbaciones externas. Utilizamos una representación de objetos centrada en la mano para la extracción de características de forma que enfatiza las formas locales relevantes para la interacción, mejorando la robustez frente a variaciones e incertidumbres en la forma. Para permitir una adaptación efectiva de la mano a perturbaciones con observaciones limitadas, proponemos una estrategia de aprendizaje curricular mixto, que primero utiliza aprendizaje por imitación para destilar una política entrenada con retroalimentación visual-táctil en tiempo real privilegiada, y luego transfiere gradualmente al aprendizaje por refuerzo para aprender movimientos adaptativos bajo perturbaciones causadas por ruidos en las observaciones y aleatorización dinámica. Nuestros experimentos demuestran una fuerte generalización en el agarre de objetos no vistos con poses aleatorias, logrando tasas de éxito del 97.0% en 247,786 objetos simulados y del 94.6% en 512 objetos reales. También demostramos la robustez de nuestro método frente a diversas perturbaciones, incluyendo movimientos no observados de objetos y fuerzas externas, mediante evaluaciones cuantitativas y cualitativas. Página del proyecto: https://zdchan.github.io/Robust_DexGrasp/

English

Robust grasping of various objects from single-view perception is fundamental for dexterous robots. Previous works often rely on fully observable objects, expert demonstrations, or static grasping poses, which restrict their generalization ability and adaptability to external disturbances. In this paper, we present a reinforcement-learning-based framework that enables zero-shot dynamic dexterous grasping of a wide range of unseen objects from single-view perception, while performing adaptive motions to external disturbances. We utilize a hand-centric object representation for shape feature extraction that emphasizes interaction-relevant local shapes, enhancing robustness to shape variance and uncertainty. To enable effective hand adaptation to disturbances with limited observations, we propose a mixed curriculum learning strategy, which first utilizes imitation learning to distill a policy trained with privileged real-time visual-tactile feedback, and gradually transfers to reinforcement learning to learn adaptive motions under disturbances caused by observation noises and dynamic randomization. Our experiments demonstrate strong generalization in grasping unseen objects with random poses, achieving success rates of 97.0% across 247,786 simulated objects and 94.6% across 512 real objects. We also demonstrate the robustness of our method to various disturbances, including unobserved object movement and external forces, through both quantitative and qualitative evaluations. Project Page: https://zdchan.github.io/Robust_DexGrasp/