ManipTrans : Transfert efficace de manipulation bimanuelle dextre via apprentissage résiduel

ManipTrans: Efficient Dexterous Bimanual Manipulation Transfer via Residual Learning

March 27, 2025

Auteurs: Kailin Li, Puhao Li, Tengyu Liu, Yuyang Li, Siyuan Huang

cs.AI

Résumé

Les mains humaines jouent un rôle central dans les interactions, motivant une recherche accrue sur la manipulation robotique dextre. Les algorithmes d'IA incarnée basés sur les données nécessitent des séquences de manipulation précises, à grande échelle et ressemblant à celles des humains, qui sont difficiles à obtenir avec l'apprentissage par renforcement conventionnel ou la téléopération dans le monde réel. Pour répondre à ce défi, nous introduisons ManipTrans, une nouvelle méthode en deux étapes pour transférer efficacement les compétences bimanuelles humaines à des mains robotiques dextres en simulation. ManipTrans commence par pré-entraîner un imitateur de trajectoire généraliste pour reproduire les mouvements de la main, puis affine un module résiduel spécifique sous des contraintes d'interaction, permettant un apprentissage efficace et une exécution précise de tâches bimanuelles complexes. Les expériences montrent que ManipTrans surpasse les méthodes de pointe en termes de taux de réussite, de fidélité et d'efficacité. En exploitant ManipTrans, nous transférons plusieurs ensembles de données main-objet à des mains robotiques, créant ainsi DexManipNet, un ensemble de données à grande échelle incluant des tâches jusque-là inexplorées comme le capuchonnage de stylos et le dévissage de bouteilles. DexManipNet comprend 3 300 épisodes de manipulation robotique et est facilement extensible, facilitant l'entraînement de politiques pour des mains dextres et permettant des déploiements dans le monde réel.

English

Human hands play a central role in interacting, motivating increasing research in dexterous robotic manipulation. Data-driven embodied AI algorithms demand precise, large-scale, human-like manipulation sequences, which are challenging to obtain with conventional reinforcement learning or real-world teleoperation. To address this, we introduce ManipTrans, a novel two-stage method for efficiently transferring human bimanual skills to dexterous robotic hands in simulation. ManipTrans first pre-trains a generalist trajectory imitator to mimic hand motion, then fine-tunes a specific residual module under interaction constraints, enabling efficient learning and accurate execution of complex bimanual tasks. Experiments show that ManipTrans surpasses state-of-the-art methods in success rate, fidelity, and efficiency. Leveraging ManipTrans, we transfer multiple hand-object datasets to robotic hands, creating DexManipNet, a large-scale dataset featuring previously unexplored tasks like pen capping and bottle unscrewing. DexManipNet comprises 3.3K episodes of robotic manipulation and is easily extensible, facilitating further policy training for dexterous hands and enabling real-world deployments.