RobustDexGrasp: Agarre Robusto e Habilidoso de Objetos Gerais a partir de Percepção de Visão Única

RobustDexGrasp: Robust Dexterous Grasping of General Objects from Single-view Perception

April 7, 2025

Autores: Hui Zhang, Zijian Wu, Linyi Huang, Sammy Christen, Jie Song

cs.AI

Resumo

Agarramento robusto de diversos objetos a partir de percepção de visão única é fundamental para robôs habilidosos. Trabalhos anteriores frequentemente dependem de objetos totalmente observáveis, demonstrações de especialistas ou poses de agarramento estáticas, o que limita sua capacidade de generalização e adaptabilidade a distúrbios externos. Neste artigo, apresentamos uma estrutura baseada em aprendizado por reforço que permite o agarramento dinâmico e habilidoso de uma ampla gama de objetos não vistos a partir de percepção de visão única, enquanto realiza movimentos adaptativos a distúrbios externos. Utilizamos uma representação de objeto centrada na mão para extração de características de forma que enfatiza formas locais relevantes para a interação, aumentando a robustez à variação e incerteza de forma. Para permitir uma adaptação eficaz da mão a distúrbios com observações limitadas, propomos uma estratégia mista de aprendizado curricular, que primeiro utiliza aprendizado por imitação para destilar uma política treinada com feedback visual-tátil em tempo real privilegiado, e gradualmente transfere para o aprendizado por reforço para aprender movimentos adaptativos sob distúrbios causados por ruídos de observação e randomização dinâmica. Nossos experimentos demonstram forte generalização no agarramento de objetos não vistos com poses aleatórias, alcançando taxas de sucesso de 97,0% em 247.786 objetos simulados e 94,6% em 512 objetos reais. Também demonstramos a robustez de nosso método a vários distúrbios, incluindo movimento de objetos não observados e forças externas, por meio de avaliações quantitativas e qualitativas. Página do Projeto: https://zdchan.github.io/Robust_DexGrasp/

English

Robust grasping of various objects from single-view perception is fundamental for dexterous robots. Previous works often rely on fully observable objects, expert demonstrations, or static grasping poses, which restrict their generalization ability and adaptability to external disturbances. In this paper, we present a reinforcement-learning-based framework that enables zero-shot dynamic dexterous grasping of a wide range of unseen objects from single-view perception, while performing adaptive motions to external disturbances. We utilize a hand-centric object representation for shape feature extraction that emphasizes interaction-relevant local shapes, enhancing robustness to shape variance and uncertainty. To enable effective hand adaptation to disturbances with limited observations, we propose a mixed curriculum learning strategy, which first utilizes imitation learning to distill a policy trained with privileged real-time visual-tactile feedback, and gradually transfers to reinforcement learning to learn adaptive motions under disturbances caused by observation noises and dynamic randomization. Our experiments demonstrate strong generalization in grasping unseen objects with random poses, achieving success rates of 97.0% across 247,786 simulated objects and 94.6% across 512 real objects. We also demonstrate the robustness of our method to various disturbances, including unobserved object movement and external forces, through both quantitative and qualitative evaluations. Project Page: https://zdchan.github.io/Robust_DexGrasp/