DexUMI: Utilización de la mano humana como interfaz universal de manipulación para la manipulación diestra

DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

May 28, 2025

Autores: Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song

cs.AI

Resumen

Presentamos DexUMI, un marco de recopilación de datos y aprendizaje de políticas que utiliza la mano humana como interfaz natural para transferir habilidades de manipulación diestra a diversas manos robóticas. DexUMI incluye adaptaciones de hardware y software para minimizar la brecha de encarnación entre la mano humana y varias manos robóticas. La adaptación de hardware reduce la brecha cinemática mediante un exoesqueleto de mano portátil. Este permite retroalimentación háptica directa en la recopilación de datos de manipulación y adapta el movimiento humano a movimientos factibles de la mano robótica. La adaptación de software reduce la brecha visual al reemplazar la mano humana en los datos de video con una reconstrucción de alta fidelidad de la mano robótica. Demostramos las capacidades de DexUMI a través de experimentos exhaustivos en el mundo real en dos plataformas de hardware diferentes de manos robóticas diestras, logrando una tasa promedio de éxito en tareas del 86%.

English

We present DexUMI - a data collection and policy learning framework that uses the human hand as the natural interface to transfer dexterous manipulation skills to various robot hands. DexUMI includes hardware and software adaptations to minimize the embodiment gap between the human hand and various robot hands. The hardware adaptation bridges the kinematics gap using a wearable hand exoskeleton. It allows direct haptic feedback in manipulation data collection and adapts human motion to feasible robot hand motion. The software adaptation bridges the visual gap by replacing the human hand in video data with high-fidelity robot hand inpainting. We demonstrate DexUMI's capabilities through comprehensive real-world experiments on two different dexterous robot hand hardware platforms, achieving an average task success rate of 86%.