DexUMI: Utilizando a Mão Humana como Interface Universal de Manipulação para Controle Habilidoso
DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation
May 28, 2025
Autores: Mengda Xu, Han Zhang, Yifan Hou, Zhenjia Xu, Linxi Fan, Manuela Veloso, Shuran Song
cs.AI
Resumo
Apresentamos o DexUMI - um framework de coleta de dados e aprendizado de políticas que utiliza a mão humana como interface natural para transferir habilidades de manipulação hábil para diversas mãos robóticas. O DexUMI inclui adaptações de hardware e software para minimizar a lacuna de incorporação entre a mão humana e várias mãos robóticas. A adaptação de hardware reduz a lacuna cinemática utilizando um exoesqueleto de mão vestível. Ele permite feedback háptico direto na coleta de dados de manipulação e adapta o movimento humano para movimentos viáveis da mão robótica. A adaptação de software reduz a lacuna visual substituindo a mão humana em vídeos por uma reconstrução de alta fidelidade da mão robótica. Demonstramos as capacidades do DexUMI por meio de experimentos abrangentes no mundo real em duas plataformas diferentes de hardware de mãos robóticas hábeis, alcançando uma taxa média de sucesso em tarefas de 86%.
English
We present DexUMI - a data collection and policy learning framework that uses
the human hand as the natural interface to transfer dexterous manipulation
skills to various robot hands. DexUMI includes hardware and software
adaptations to minimize the embodiment gap between the human hand and various
robot hands. The hardware adaptation bridges the kinematics gap using a
wearable hand exoskeleton. It allows direct haptic feedback in manipulation
data collection and adapts human motion to feasible robot hand motion. The
software adaptation bridges the visual gap by replacing the human hand in video
data with high-fidelity robot hand inpainting. We demonstrate DexUMI's
capabilities through comprehensive real-world experiments on two different
dexterous robot hand hardware platforms, achieving an average task success rate
of 86%.