DexUMI: 인간의 손을 보편적 조작 인터페이스로 활용한 정교한 조작

초록

우리는 인간의 손을 자연스러운 인터페이스로 활용하여 다양한 로봇 손으로 세밀한 조작 기술을 전달하는 데이터 수집 및 정책 학습 프레임워크인 DexUMI를 소개한다. DexUMI는 인간의 손과 다양한 로봇 손 간의 구현 격차를 최소화하기 위한 하드웨어 및 소프트웨어 적응을 포함한다. 하드웨어 적응은 착용 가능한 손 외골격을 사용하여 운동학적 격차를 해소한다. 이를 통해 조작 데이터 수집 시 직접적인 햅틱 피드백을 제공하며, 인간의 움직임을 로봇 손의 실현 가능한 움직임으로 적응시킨다. 소프트웨어 적응은 비디오 데이터에서 인간의 손을 고해상도의 로봇 손 인페인팅으로 대체함으로써 시각적 격차를 해소한다. 우리는 DexUMI의 성능을 두 가지 다른 세밀한 로봇 손 하드웨어 플랫폼에서의 포괄적인 실험을 통해 입증하였으며, 평균 작업 성공률 86%를 달성하였다.

English

We present DexUMI - a data collection and policy learning framework that uses the human hand as the natural interface to transfer dexterous manipulation skills to various robot hands. DexUMI includes hardware and software adaptations to minimize the embodiment gap between the human hand and various robot hands. The hardware adaptation bridges the kinematics gap using a wearable hand exoskeleton. It allows direct haptic feedback in manipulation data collection and adapts human motion to feasible robot hand motion. The software adaptation bridges the visual gap by replacing the human hand in video data with high-fidelity robot hand inpainting. We demonstrate DexUMI's capabilities through comprehensive real-world experiments on two different dexterous robot hand hardware platforms, achieving an average task success rate of 86%.

DexUMI: 인간의 손을 보편적 조작 인터페이스로 활용한 정교한 조작

DexUMI: Using Human Hand as the Universal Manipulation Interface for Dexterous Manipulation

초록

Support