ManipTrans: Transferencia Eficiente de Manipulación Bimanual Diestra mediante Aprendizaje Residual

ManipTrans: Efficient Dexterous Bimanual Manipulation Transfer via Residual Learning

March 27, 2025

Autores: Kailin Li, Puhao Li, Tengyu Liu, Yuyang Li, Siyuan Huang

cs.AI

Resumen

Las manos humanas desempeñan un papel central en la interacción, lo que motiva un creciente interés en la investigación de la manipulación diestra en robótica. Los algoritmos de IA encarnada basados en datos requieren secuencias de manipulación precisas, a gran escala y similares a las humanas, las cuales son difíciles de obtener mediante el aprendizaje por refuerzo convencional o la teleoperación en el mundo real. Para abordar este desafío, presentamos ManipTrans, un método novedoso de dos etapas que transfiere eficientemente habilidades bimanuales humanas a manos robóticas diestras en simulación. ManipTrans primero pre-entrena un imitador de trayectorias generalista para emular el movimiento de las manos, luego ajusta un módulo residual específico bajo restricciones de interacción, permitiendo un aprendizaje eficiente y una ejecución precisa de tareas bimanuales complejas. Los experimentos muestran que ManipTrans supera a los métodos más avanzados en tasa de éxito, fidelidad y eficiencia. Aprovechando ManipTrans, transferimos múltiples conjuntos de datos mano-objeto a manos robóticas, creando DexManipNet, un conjunto de datos a gran escala que incluye tareas previamente inexploradas como tapar bolígrafos y destapar botellas. DexManipNet comprende 3.3K episodios de manipulación robótica y es fácilmente extensible, facilitando el entrenamiento adicional de políticas para manos diestras y permitiendo implementaciones en el mundo real.

English

Human hands play a central role in interacting, motivating increasing research in dexterous robotic manipulation. Data-driven embodied AI algorithms demand precise, large-scale, human-like manipulation sequences, which are challenging to obtain with conventional reinforcement learning or real-world teleoperation. To address this, we introduce ManipTrans, a novel two-stage method for efficiently transferring human bimanual skills to dexterous robotic hands in simulation. ManipTrans first pre-trains a generalist trajectory imitator to mimic hand motion, then fine-tunes a specific residual module under interaction constraints, enabling efficient learning and accurate execution of complex bimanual tasks. Experiments show that ManipTrans surpasses state-of-the-art methods in success rate, fidelity, and efficiency. Leveraging ManipTrans, we transfer multiple hand-object datasets to robotic hands, creating DexManipNet, a large-scale dataset featuring previously unexplored tasks like pen capping and bottle unscrewing. DexManipNet comprises 3.3K episodes of robotic manipulation and is easily extensible, facilitating further policy training for dexterous hands and enabling real-world deployments.