RobustDexGrasp: Надежное ловкое захватывание произвольных объектов на основе однокадрового восприятия

RobustDexGrasp: Robust Dexterous Grasping of General Objects from Single-view Perception

April 7, 2025

Авторы: Hui Zhang, Zijian Wu, Linyi Huang, Sammy Christen, Jie Song

cs.AI

Аннотация

Надежный захват различных объектов на основе однокадрового восприятия является фундаментальной задачей для ловких роботов. Предыдущие работы часто полагаются на полностью наблюдаемые объекты, экспертные демонстрации или статические позы захвата, что ограничивает их способность к обобщению и адаптации к внешним возмущениям. В данной статье мы представляем основанный на обучении с подкреплением фреймворк, который позволяет выполнять динамический захват широкого спектра невидимых объектов на основе однокадрового восприятия с нулевым обучением, одновременно адаптируясь к внешним возмущениям. Мы используем представление объектов, центрированное на руке, для извлечения признаков формы, что подчеркивает локальные формы, релевантные взаимодействию, повышая устойчивость к вариациям формы и неопределенности. Для эффективной адаптации руки к возмущениям при ограниченных наблюдениях мы предлагаем смешанную стратегию обучения с постепенным усложнением, которая сначала использует имитационное обучение для извлечения политики, обученной с привилегированным визуально-тактильным обратным связью в реальном времени, а затем постепенно переходит к обучению с подкреплением для изучения адаптивных движений при возмущениях, вызванных шумами наблюдения и динамической рандомизацией. Наши эксперименты демонстрируют сильное обобщение в захвате невидимых объектов с случайными позами, достигая успешности 97,0% на 247 786 симулированных объектах и 94,6% на 512 реальных объектах. Мы также показываем устойчивость нашего метода к различным возмущениям, включая неожиданное движение объектов и внешние силы, с помощью количественных и качественных оценок. Страница проекта: https://zdchan.github.io/Robust_DexGrasp/

English

Robust grasping of various objects from single-view perception is fundamental for dexterous robots. Previous works often rely on fully observable objects, expert demonstrations, or static grasping poses, which restrict their generalization ability and adaptability to external disturbances. In this paper, we present a reinforcement-learning-based framework that enables zero-shot dynamic dexterous grasping of a wide range of unseen objects from single-view perception, while performing adaptive motions to external disturbances. We utilize a hand-centric object representation for shape feature extraction that emphasizes interaction-relevant local shapes, enhancing robustness to shape variance and uncertainty. To enable effective hand adaptation to disturbances with limited observations, we propose a mixed curriculum learning strategy, which first utilizes imitation learning to distill a policy trained with privileged real-time visual-tactile feedback, and gradually transfers to reinforcement learning to learn adaptive motions under disturbances caused by observation noises and dynamic randomization. Our experiments demonstrate strong generalization in grasping unseen objects with random poses, achieving success rates of 97.0% across 247,786 simulated objects and 94.6% across 512 real objects. We also demonstrate the robustness of our method to various disturbances, including unobserved object movement and external forces, through both quantitative and qualitative evaluations. Project Page: https://zdchan.github.io/Robust_DexGrasp/