ManipTrans: Transferência Eficiente de Manipulação Bimanual Habilidosa via Aprendizado Residual

ManipTrans: Efficient Dexterous Bimanual Manipulation Transfer via Residual Learning

March 27, 2025

Autores: Kailin Li, Puhao Li, Tengyu Liu, Yuyang Li, Siyuan Huang

cs.AI

Resumo

As mãos humanas desempenham um papel central na interação, motivando pesquisas crescentes em manipulação robótica hábil. Algoritmos de IA incorporada baseados em dados exigem sequências de manipulação precisas, em larga escala e semelhantes às humanas, que são desafiadoras de obter com aprendizado por reforço convencional ou teleoperação no mundo real. Para abordar isso, introduzimos o ManipTrans, um método inovador de duas etapas para transferir eficientemente habilidades bimanuais humanas para mãos robóticas hábeis em simulação. O ManipTrans primeiro pré-treina um imitador de trajetória generalista para imitar o movimento das mãos, depois ajusta um módulo residual específico sob restrições de interação, permitindo aprendizado eficiente e execução precisa de tarefas bimanuais complexas. Experimentos mostram que o ManipTrans supera métodos state-of-the-art em taxa de sucesso, fidelidade e eficiência. Aproveitando o ManipTrans, transferimos múltiplos conjuntos de dados mão-objeto para mãos robóticas, criando o DexManipNet, um conjunto de dados em larga escala que inclui tarefas anteriormente inexploradas, como tampar canetas e desenroscar garrafas. O DexManipNet compreende 3,3 mil episódios de manipulação robótica e é facilmente extensível, facilitando o treinamento adicional de políticas para mãos hábeis e permitindo implantações no mundo real.

English

Human hands play a central role in interacting, motivating increasing research in dexterous robotic manipulation. Data-driven embodied AI algorithms demand precise, large-scale, human-like manipulation sequences, which are challenging to obtain with conventional reinforcement learning or real-world teleoperation. To address this, we introduce ManipTrans, a novel two-stage method for efficiently transferring human bimanual skills to dexterous robotic hands in simulation. ManipTrans first pre-trains a generalist trajectory imitator to mimic hand motion, then fine-tunes a specific residual module under interaction constraints, enabling efficient learning and accurate execution of complex bimanual tasks. Experiments show that ManipTrans surpasses state-of-the-art methods in success rate, fidelity, and efficiency. Leveraging ManipTrans, we transfer multiple hand-object datasets to robotic hands, creating DexManipNet, a large-scale dataset featuring previously unexplored tasks like pen capping and bottle unscrewing. DexManipNet comprises 3.3K episodes of robotic manipulation and is easily extensible, facilitating further policy training for dexterous hands and enabling real-world deployments.