DexUMI: De menselijke hand gebruiken als universele manipulatie-interface voor behendige manipulatie

DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

May 28, 2025

Auteurs: Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song

cs.AI

Samenvatting

We presenteren DexUMI - een raamwerk voor gegevensverzameling en beleidsleren dat de menselijke hand gebruikt als natuurlijke interface om behendige manipulatietechnieken over te dragen naar verschillende robothanden. DexUMI omvat hardware- en softwareaanpassingen om de embodimentkloof tussen de menselijke hand en diverse robothanden te minimaliseren. De hardwareaanpassing overbrugt de kinematische kloof door middel van een draagbaar handexoskelet. Dit maakt directe haptische feedback mogelijk tijdens het verzamelen van manipulatiedata en past menselijke bewegingen aan naar haalbare robothandbewegingen. De softwareaanpassing overbrugt de visuele kloof door de menselijke hand in videodata te vervangen door hoogwaardige robot-handinpainting. We demonstreren de mogelijkheden van DexUMI door middel van uitgebreide experimenten in de echte wereld op twee verschillende hardwareplatforms voor behendige robothanden, waarbij een gemiddelde taaksuccesratio van 86% wordt behaald.

English

We present DexUMI - a data collection and policy learning framework that uses the human hand as the natural interface to transfer dexterous manipulation skills to various robot hands. DexUMI includes hardware and software adaptations to minimize the embodiment gap between the human hand and various robot hands. The hardware adaptation bridges the kinematics gap using a wearable hand exoskeleton. It allows direct haptic feedback in manipulation data collection and adapts human motion to feasible robot hand motion. The software adaptation bridges the visual gap by replacing the human hand in video data with high-fidelity robot hand inpainting. We demonstrate DexUMI's capabilities through comprehensive real-world experiments on two different dexterous robot hand hardware platforms, achieving an average task success rate of 86%.