DexUMI : Utiliser la main humaine comme interface universelle de manipulation pour une préhension dextre
DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation
May 28, 2025
Auteurs: Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song
cs.AI
Résumé
Nous présentons DexUMI - un cadre de collecte de données et d'apprentissage de politiques qui utilise la main humaine comme interface naturelle pour transférer des compétences de manipulation dextre à diverses mains robotiques. DexUMI inclut des adaptations matérielles et logicielles pour minimiser l'écart d'incarnation entre la main humaine et différentes mains robotiques. L'adaptation matérielle comble l'écart cinématique en utilisant un exosquelette de main portable. Il permet un retour haptique direct lors de la collecte de données de manipulation et adapte le mouvement humain à un mouvement réalisable par une main robotique. L'adaptation logicielle comble l'écart visuel en remplaçant la main humaine dans les données vidéo par une reconstruction fidèle de main robotique. Nous démontrons les capacités de DexUMI à travers des expériences complètes en conditions réelles sur deux plates-formes matérielles différentes de mains robotiques dextres, atteignant un taux de réussite moyen des tâches de 86%.
English
We present DexUMI - a data collection and policy learning framework that uses
the human hand as the natural interface to transfer dexterous manipulation
skills to various robot hands. DexUMI includes hardware and software
adaptations to minimize the embodiment gap between the human hand and various
robot hands. The hardware adaptation bridges the kinematics gap using a
wearable hand exoskeleton. It allows direct haptic feedback in manipulation
data collection and adapts human motion to feasible robot hand motion. The
software adaptation bridges the visual gap by replacing the human hand in video
data with high-fidelity robot hand inpainting. We demonstrate DexUMI's
capabilities through comprehensive real-world experiments on two different
dexterous robot hand hardware platforms, achieving an average task success rate
of 86%.