ManipTrans: 残差学習による効率的な両手器用操作転移

ManipTrans: Efficient Dexterous Bimanual Manipulation Transfer via Residual Learning

March 27, 2025

著者: Kailin Li, Puhao Li, Tengyu Liu, Yuyang Li, Siyuan Huang

cs.AI

要旨

人間の手は相互作用において中心的な役割を果たしており、巧緻的なロボット操作に関する研究の増加を促しています。データ駆動型のエンボディードAIアルゴリズムは、精密で大規模かつ人間のような操作シーケンスを要求しますが、従来の強化学習や実世界の遠隔操作ではこれを得ることが困難です。この問題に対処するため、我々はManipTransを提案します。これは、シミュレーション内で人間の両手操作スキルを巧緻的なロボットハンドに効率的に転移するための新しい二段階手法です。ManipTransはまず、手の動きを模倣する汎用軌跡模倣器を事前学習し、その後、相互作用の制約下で特定の残差モジュールを微調整することで、複雑な両手操作タスクの効率的な学習と正確な実行を可能にします。実験結果は、ManipTransが成功率、忠実度、効率性において最先端の手法を凌駕することを示しています。ManipTransを活用し、我々は複数の手-物体データセットをロボットハンドに転移し、ペンのキャップ付けや瓶の蓋開けといったこれまで未探索のタスクを含む大規模データセットであるDexManipNetを作成しました。DexManipNetは3.3Kエピソードのロボット操作を収録しており、容易に拡張可能で、巧緻的な手のためのさらなるポリシー訓練を促進し、実世界での展開を可能にします。

English

Human hands play a central role in interacting, motivating increasing research in dexterous robotic manipulation. Data-driven embodied AI algorithms demand precise, large-scale, human-like manipulation sequences, which are challenging to obtain with conventional reinforcement learning or real-world teleoperation. To address this, we introduce ManipTrans, a novel two-stage method for efficiently transferring human bimanual skills to dexterous robotic hands in simulation. ManipTrans first pre-trains a generalist trajectory imitator to mimic hand motion, then fine-tunes a specific residual module under interaction constraints, enabling efficient learning and accurate execution of complex bimanual tasks. Experiments show that ManipTrans surpasses state-of-the-art methods in success rate, fidelity, and efficiency. Leveraging ManipTrans, we transfer multiple hand-object datasets to robotic hands, creating DexManipNet, a large-scale dataset featuring previously unexplored tasks like pen capping and bottle unscrewing. DexManipNet comprises 3.3K episodes of robotic manipulation and is easily extensible, facilitating further policy training for dexterous hands and enabling real-world deployments.