ManipTrans: Efficiënte overdracht van behendige bimanuele manipulatie via residueel leren

ManipTrans: Efficient Dexterous Bimanual Manipulation Transfer via Residual Learning

March 27, 2025

Auteurs: Kailin Li, Puhao Li, Tengyu Liu, Yuyang Li, Siyuan Huang

cs.AI

Samenvatting

Menselijke handen spelen een centrale rol in interacties, wat leidt tot toenemend onderzoek naar behendige robotmanipulatie. Data-gedreven embodied AI-algoritmen vereisen precieze, grootschalige, mensachtige manipulatietrajecten, die moeilijk te verkrijgen zijn met conventionele reinforcement learning of real-world teleoperatie. Om dit aan te pakken, introduceren we ManipTrans, een nieuwe tweestapsmethode voor het efficiënt overbrengen van menselijke bimanuele vaardigheden naar behendige robothanden in simulatie. ManipTrans traint eerst een generalistische trajectimitator voor om handbewegingen na te bootsen, en verfijnt vervolgens een specifieke residu-module onder interactiebeperkingen, waardoor efficiënt leren en nauwkeurige uitvoering van complexe bimanuele taken mogelijk wordt. Experimenten tonen aan dat ManipTrans state-of-the-art methoden overtreft in slagingspercentage, nauwkeurigheid en efficiëntie. Door gebruik te maken van ManipTrans, brengen we meerdere hand-object datasets over naar robothanden, waardoor DexManipNet ontstaat, een grootschalige dataset met voorheen onontgonnen taken zoals het dopjes op een pen zetten en het openen van een fles. DexManipNet bestaat uit 3.3K episodes van robotmanipulatie en is eenvoudig uitbreidbaar, wat verdere beleidstraining voor behendige handen vergemakkelijkt en real-world implementaties mogelijk maakt.

English

Human hands play a central role in interacting, motivating increasing research in dexterous robotic manipulation. Data-driven embodied AI algorithms demand precise, large-scale, human-like manipulation sequences, which are challenging to obtain with conventional reinforcement learning or real-world teleoperation. To address this, we introduce ManipTrans, a novel two-stage method for efficiently transferring human bimanual skills to dexterous robotic hands in simulation. ManipTrans first pre-trains a generalist trajectory imitator to mimic hand motion, then fine-tunes a specific residual module under interaction constraints, enabling efficient learning and accurate execution of complex bimanual tasks. Experiments show that ManipTrans surpasses state-of-the-art methods in success rate, fidelity, and efficiency. Leveraging ManipTrans, we transfer multiple hand-object datasets to robotic hands, creating DexManipNet, a large-scale dataset featuring previously unexplored tasks like pen capping and bottle unscrewing. DexManipNet comprises 3.3K episodes of robotic manipulation and is easily extensible, facilitating further policy training for dexterous hands and enabling real-world deployments.