RobustDexGrasp: 単一視点知覚による一般物体のロバストな巧緻把持

RobustDexGrasp: Robust Dexterous Grasping of General Objects from Single-view Perception

April 7, 2025

著者: Hui Zhang, Zijian Wu, Linyi Huang, Sammy Christen, Jie Song

cs.AI

要旨

単一視点の知覚から多様な物体をロバストに把持することは、器用なロボットにとって基本的な能力である。従来の研究では、完全に観測可能な物体、専門家によるデモンストレーション、または静的な把持姿勢に依存することが多く、その汎化能力や外部擾乱への適応性が制限されていた。本論文では、単一視点の知覚から未見の物体をゼロショットで動的に把持し、外部擾乱に対して適応的な動作を行う強化学習ベースのフレームワークを提案する。我々は、形状のばらつきや不確実性に対するロバスト性を高めるため、相互作用に関連する局所形状を強調したハンド中心の物体表現を利用する。限られた観測下で擾乱に適応する効果的なハンド動作を実現するため、特権的なリアルタイム視覚-触覚フィードバックを用いて訓練されたポリシーを模倣学習で蒸留し、観測ノイズや動的ランダム化による擾乱下での適応動作を強化学習で徐々に学習する混合カリキュラム学習戦略を提案する。実験では、ランダムな姿勢の未見物体を把持する際の強力な汎化能力を示し、247,786個のシミュレーション物体で97.0%、512個の実物体で94.6%の成功率を達成した。また、観測されない物体の移動や外部力を含む様々な擾乱に対する本手法のロバスト性を、定量的および定性的な評価を通じて実証した。プロジェクトページ: https://zdchan.github.io/Robust_DexGrasp/

English

Robust grasping of various objects from single-view perception is fundamental for dexterous robots. Previous works often rely on fully observable objects, expert demonstrations, or static grasping poses, which restrict their generalization ability and adaptability to external disturbances. In this paper, we present a reinforcement-learning-based framework that enables zero-shot dynamic dexterous grasping of a wide range of unseen objects from single-view perception, while performing adaptive motions to external disturbances. We utilize a hand-centric object representation for shape feature extraction that emphasizes interaction-relevant local shapes, enhancing robustness to shape variance and uncertainty. To enable effective hand adaptation to disturbances with limited observations, we propose a mixed curriculum learning strategy, which first utilizes imitation learning to distill a policy trained with privileged real-time visual-tactile feedback, and gradually transfers to reinforcement learning to learn adaptive motions under disturbances caused by observation noises and dynamic randomization. Our experiments demonstrate strong generalization in grasping unseen objects with random poses, achieving success rates of 97.0% across 247,786 simulated objects and 94.6% across 512 real objects. We also demonstrate the robustness of our method to various disturbances, including unobserved object movement and external forces, through both quantitative and qualitative evaluations. Project Page: https://zdchan.github.io/Robust_DexGrasp/