ManipTrans: 잔차 학습을 통한 효율적인 양손 조작 전이

ManipTrans: Efficient Dexterous Bimanual Manipulation Transfer via Residual Learning

March 27, 2025

저자: Kailin Li, Puhao Li, Tengyu Liu, Yuyang Li, Siyuan Huang

cs.AI

초록

인간의 손은 상호작용에서 중심적인 역할을 하며, 이는 민첩한 로봇 조작에 대한 연구를 촉진시키고 있습니다. 데이터 기반의 구체화된 AI 알고리즘은 정밀하고 대규모이며 인간과 유사한 조작 시퀀스를 요구하는데, 이는 기존의 강화 학습이나 실제 세계의 원격 조작으로는 얻기 어렵습니다. 이를 해결하기 위해, 우리는 시뮬레이션에서 인간의 양손 기술을 민첩한 로봇 손으로 효율적으로 전달하는 새로운 두 단계 방법인 ManipTrans를 소개합니다. ManipTrans는 먼저 일반적인 궤적 모방자를 사전 훈련시켜 손의 움직임을 모방한 다음, 상호작용 제약 하에서 특정 잔차 모듈을 미세 조정함으로써 복잡한 양손 작업의 효율적인 학습과 정확한 실행을 가능하게 합니다. 실험 결과, ManipTrans는 성공률, 충실도 및 효율성에서 최신 방법을 능가하는 것으로 나타났습니다. ManipTrans를 활용하여, 우리는 여러 손-객체 데이터셋을 로봇 손으로 전달하여 펜 뚜껑 닫기와 병 뚜껑 풀기와 같은 이전에 탐구되지 않은 작업을 포함하는 대규모 데이터셋인 DexManipNet을 생성했습니다. DexManipNet은 3.3K개의 로봇 조작 에피소드로 구성되어 있으며 쉽게 확장 가능하여, 민첩한 손을 위한 추가 정책 훈련을 용이하게 하고 실제 세계의 배치를 가능하게 합니다.

English

Human hands play a central role in interacting, motivating increasing research in dexterous robotic manipulation. Data-driven embodied AI algorithms demand precise, large-scale, human-like manipulation sequences, which are challenging to obtain with conventional reinforcement learning or real-world teleoperation. To address this, we introduce ManipTrans, a novel two-stage method for efficiently transferring human bimanual skills to dexterous robotic hands in simulation. ManipTrans first pre-trains a generalist trajectory imitator to mimic hand motion, then fine-tunes a specific residual module under interaction constraints, enabling efficient learning and accurate execution of complex bimanual tasks. Experiments show that ManipTrans surpasses state-of-the-art methods in success rate, fidelity, and efficiency. Leveraging ManipTrans, we transfer multiple hand-object datasets to robotic hands, creating DexManipNet, a large-scale dataset featuring previously unexplored tasks like pen capping and bottle unscrewing. DexManipNet comprises 3.3K episodes of robotic manipulation and is easily extensible, facilitating further policy training for dexterous hands and enabling real-world deployments.