DexUMI: Utilizzo della mano umana come interfaccia universale di manipolazione per la manipolazione destra
DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation
May 28, 2025
Autori: Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song
cs.AI
Abstract
Presentiamo DexUMI, un framework per la raccolta dati e l'apprendimento di politiche che utilizza la mano umana come interfaccia naturale per trasferire abilità di manipolazione destrezza a diverse mani robotiche. DexUMI include adattamenti hardware e software per minimizzare il divario di incarnazione tra la mano umana e varie mani robotiche. L'adattamento hardware colma il divario cinematico utilizzando un esoscheletro portatile per la mano. Questo permette un feedback aptico diretto durante la raccolta di dati di manipolazione e adatta il movimento umano a un movimento fattibile per la mano robotica. L'adattamento software colma il divario visivo sostituendo la mano umana nei video con un'accurata ricostruzione della mano robotica. Dimostriamo le capacità di DexUMI attraverso esperimenti completi nel mondo reale su due diverse piattaforme hardware di mani robotiche destrezza, raggiungendo una percentuale media di successo nelle attività dell'86%.
English
We present DexUMI - a data collection and policy learning framework that uses
the human hand as the natural interface to transfer dexterous manipulation
skills to various robot hands. DexUMI includes hardware and software
adaptations to minimize the embodiment gap between the human hand and various
robot hands. The hardware adaptation bridges the kinematics gap using a
wearable hand exoskeleton. It allows direct haptic feedback in manipulation
data collection and adapts human motion to feasible robot hand motion. The
software adaptation bridges the visual gap by replacing the human hand in video
data with high-fidelity robot hand inpainting. We demonstrate DexUMI's
capabilities through comprehensive real-world experiments on two different
dexterous robot hand hardware platforms, achieving an average task success rate
of 86%.