DexUMI: Использование человеческой руки в качестве универсального интерфейса для манипуляций в задачах ловкого управления

DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

May 28, 2025

Авторы: Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song

cs.AI

Аннотация

Мы представляем DexUMI — фреймворк для сбора данных и обучения стратегий, который использует человеческую руку в качестве естественного интерфейса для передачи навыков точного манипулирования различным роботизированным рукам. DexUMI включает аппаратные и программные адаптации для минимизации разрыва в воплощении между человеческой рукой и различными роботизированными руками. Аппаратная адаптация устраняет кинематический разрыв с помощью носимого экзоскелета руки. Это позволяет обеспечить прямую тактильную обратную связь при сборе данных о манипулировании и адаптировать движения человека к выполнимым движениям роботизированной руки. Программная адаптация устраняет визуальный разрыв, заменяя человеческую руку в видеоданных на высококачественное восстановление изображения роботизированной руки. Мы демонстрируем возможности DexUMI в ходе комплексных экспериментов в реальных условиях на двух различных аппаратных платформах для точных роботизированных рук, достигая среднего уровня успешного выполнения задач в 86%.

English

We present DexUMI - a data collection and policy learning framework that uses the human hand as the natural interface to transfer dexterous manipulation skills to various robot hands. DexUMI includes hardware and software adaptations to minimize the embodiment gap between the human hand and various robot hands. The hardware adaptation bridges the kinematics gap using a wearable hand exoskeleton. It allows direct haptic feedback in manipulation data collection and adapts human motion to feasible robot hand motion. The software adaptation bridges the visual gap by replacing the human hand in video data with high-fidelity robot hand inpainting. We demonstrate DexUMI's capabilities through comprehensive real-world experiments on two different dexterous robot hand hardware platforms, achieving an average task success rate of 86%.