RobustDexGrasp: 단일 시각 인식을 통한 일반 물체의 강건한 정밀 그리핑

RobustDexGrasp: Robust Dexterous Grasping of General Objects from Single-view Perception

April 7, 2025

저자: Hui Zhang, Zijian Wu, Linyi Huang, Sammy Christen, Jie Song

cs.AI

초록

단일 시각 인식으로 다양한 물체를 견고하게 파악하는 것은 민첩한 로봇에게 필수적인 능력입니다. 기존 연구들은 주로 완전히 관찰 가능한 물체, 전문가 시연, 또는 정적 파악 자세에 의존하여 일반화 능력과 외부 방해에 대한 적응성이 제한되었습니다. 본 논문에서는 단일 시각 인식으로 보지 못한 다양한 물체에 대해 제로샷 동적 민첩 파악을 가능하게 하면서 동시에 외부 방해에 적응적인 동작을 수행하는 강화 학습 기반 프레임워크를 제시합니다. 우리는 상호작용과 관련된 국부적 형태를 강조하는 손 중심 물체 표현을 활용하여 형태 변이와 불확실성에 대한 견고성을 높였습니다. 제한된 관찰 하에서 방해에 효과적으로 적응하기 위해, 우리는 혼합 커리큘럼 학습 전략을 제안합니다. 이 전략은 먼저 특권적 실시간 시각-촉각 피드백으로 훈련된 정책을 모방 학습을 통해 추출하고, 점차적으로 관찰 노이즈와 동적 무작위화로 인한 방해 하에서 적응적 동작을 학습하기 위해 강화 학습으로 전환합니다. 우리의 실험은 무작위 자세로 보지 못한 물체를 파악하는 데 강력한 일반화 능력을 보여주며, 247,786개의 시뮬레이션 물체에서 97.0%, 512개의 실제 물체에서 94.6%의 성공률을 달성했습니다. 또한, 관찰되지 않은 물체 이동과 외부 힘을 포함한 다양한 방해에 대한 우리 방법의 견고성을 정량적 및 정성적 평가를 통해 입증했습니다. 프로젝트 페이지: https://zdchan.github.io/Robust_DexGrasp/

English

Robust grasping of various objects from single-view perception is fundamental for dexterous robots. Previous works often rely on fully observable objects, expert demonstrations, or static grasping poses, which restrict their generalization ability and adaptability to external disturbances. In this paper, we present a reinforcement-learning-based framework that enables zero-shot dynamic dexterous grasping of a wide range of unseen objects from single-view perception, while performing adaptive motions to external disturbances. We utilize a hand-centric object representation for shape feature extraction that emphasizes interaction-relevant local shapes, enhancing robustness to shape variance and uncertainty. To enable effective hand adaptation to disturbances with limited observations, we propose a mixed curriculum learning strategy, which first utilizes imitation learning to distill a policy trained with privileged real-time visual-tactile feedback, and gradually transfers to reinforcement learning to learn adaptive motions under disturbances caused by observation noises and dynamic randomization. Our experiments demonstrate strong generalization in grasping unseen objects with random poses, achieving success rates of 97.0% across 247,786 simulated objects and 94.6% across 512 real objects. We also demonstrate the robustness of our method to various disturbances, including unobserved object movement and external forces, through both quantitative and qualitative evaluations. Project Page: https://zdchan.github.io/Robust_DexGrasp/