ManipTrans: Effizienter Transfer von geschickter bimanueller Manipulation durch Residuallernen

ManipTrans: Efficient Dexterous Bimanual Manipulation Transfer via Residual Learning

March 27, 2025

Autoren: Kailin Li, Puhao Li, Tengyu Liu, Yuyang Li, Siyuan Huang

cs.AI

Zusammenfassung

Menschliche Hände spielen eine zentrale Rolle bei der Interaktion, was zunehmende Forschung in der geschickten robotischen Manipulation motiviert. Datengetriebene embodied AI-Algorithmen erfordern präzise, groß angelegte, menschenähnliche Manipulationssequenzen, die mit herkömmlichem Reinforcement Learning oder Teleoperation in der realen Welt schwer zu erhalten sind. Um dies zu adressieren, stellen wir ManipTrans vor, eine neuartige zweistufige Methode zur effizienten Übertragung menschlicher bimanueller Fähigkeiten auf geschickte Roboterhände in der Simulation. ManipTrans trainiert zunächst einen generalistischen Trajektorienimitator, um Handbewegungen nachzuahmen, und feintunt dann ein spezifisches Residualmodul unter Interaktionsbedingungen, was effizientes Lernen und präzise Ausführung komplexer bimanueller Aufgaben ermöglicht. Experimente zeigen, dass ManipTrans state-of-the-art Methoden in Bezug auf Erfolgsrate, Treue und Effizienz übertrifft. Durch die Nutzung von ManipTrans übertragen wir mehrere Hand-Objekt-Datensätze auf Roboterhände und erstellen DexManipNet, einen groß angelegten Datensatz, der bisher unerforschte Aufgaben wie das Verschließen von Stiften und das Öffnen von Flaschen umfasst. DexManipNet besteht aus 3.3K Episoden robotischer Manipulation und ist leicht erweiterbar, was die weitere Politikschulung für geschickte Hände erleichtert und den Einsatz in der realen Welt ermöglicht.

English

Human hands play a central role in interacting, motivating increasing research in dexterous robotic manipulation. Data-driven embodied AI algorithms demand precise, large-scale, human-like manipulation sequences, which are challenging to obtain with conventional reinforcement learning or real-world teleoperation. To address this, we introduce ManipTrans, a novel two-stage method for efficiently transferring human bimanual skills to dexterous robotic hands in simulation. ManipTrans first pre-trains a generalist trajectory imitator to mimic hand motion, then fine-tunes a specific residual module under interaction constraints, enabling efficient learning and accurate execution of complex bimanual tasks. Experiments show that ManipTrans surpasses state-of-the-art methods in success rate, fidelity, and efficiency. Leveraging ManipTrans, we transfer multiple hand-object datasets to robotic hands, creating DexManipNet, a large-scale dataset featuring previously unexplored tasks like pen capping and bottle unscrewing. DexManipNet comprises 3.3K episodes of robotic manipulation and is easily extensible, facilitating further policy training for dexterous hands and enabling real-world deployments.