DexUMI: Die menschliche Hand als universelle Manipulationsschnittstelle für geschickte Manipulation

DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

May 28, 2025

Autoren: Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song

cs.AI

Zusammenfassung

Wir präsentieren DexUMI – ein Framework zur Datenerfassung und Politik-Lernstrategie, das die menschliche Hand als natürliche Schnittstelle nutzt, um geschickte Manipulationsfähigkeiten auf verschiedene Roboterhände zu übertragen. DexUMI umfasst Hardware- und Software-Anpassungen, um den Verkörperungsunterschied zwischen der menschlichen Hand und verschiedenen Roboterhänden zu minimieren. Die Hardware-Anpassung überbrückt den kinematischen Unterschied durch den Einsatz eines tragbaren Hand-Exoskeletts. Dies ermöglicht direktes haptisches Feedback bei der Datenerfassung von Manipulationen und passt menschliche Bewegungen an realisierbare Roboterhandbewegungen an. Die Software-Anpassung überbrückt den visuellen Unterschied, indem die menschliche Hand in Videodaten durch hochwertige Robotereingaben ersetzt wird. Wir demonstrieren die Fähigkeiten von DexUMI durch umfangreiche reale Experimente auf zwei verschiedenen Plattformen für geschickte Roboterhände und erreichen dabei eine durchschnittliche Aufgaben-Erfolgsrate von 86 %.

English

We present DexUMI - a data collection and policy learning framework that uses the human hand as the natural interface to transfer dexterous manipulation skills to various robot hands. DexUMI includes hardware and software adaptations to minimize the embodiment gap between the human hand and various robot hands. The hardware adaptation bridges the kinematics gap using a wearable hand exoskeleton. It allows direct haptic feedback in manipulation data collection and adapts human motion to feasible robot hand motion. The software adaptation bridges the visual gap by replacing the human hand in video data with high-fidelity robot hand inpainting. We demonstrate DexUMI's capabilities through comprehensive real-world experiments on two different dexterous robot hand hardware platforms, achieving an average task success rate of 86%.