ManipTrans: Эффективный перенос навыков ловкого двуручного манипулирования с использованием остаточного обучения

ManipTrans: Efficient Dexterous Bimanual Manipulation Transfer via Residual Learning

March 27, 2025

Авторы: Kailin Li, Puhao Li, Tengyu Liu, Yuyang Li, Siyuan Huang

cs.AI

Аннотация

Человеческие руки играют ключевую роль во взаимодействии, что стимулирует растущие исследования в области ловкого роботизированного манипулирования. Алгоритмы воплощённого ИИ, основанные на данных, требуют точных, масштабных и человекообразных последовательностей манипуляций, которые сложно получить с помощью традиционного обучения с подкреплением или телеоперации в реальном мире. Для решения этой проблемы мы представляем ManipTrans — новый двухэтапный метод для эффективного переноса навыков двуручного взаимодействия человека на ловкие роботизированные руки в симуляции. ManipTrans сначала предварительно обучает универсальный имитатор траекторий для воспроизведения движений руки, а затем дообучает специфический остаточный модуль с учётом ограничений взаимодействия, что позволяет эффективно изучать и точно выполнять сложные двуручные задачи. Эксперименты показывают, что ManipTrans превосходит современные методы по показателям успешности, точности и эффективности. Используя ManipTrans, мы переносим несколько наборов данных о взаимодействии руки с объектами на роботизированные руки, создавая DexManipNet — масштабный набор данных, включающий ранее не исследованные задачи, такие как закрывание колпачка ручки и откручивание крышки бутылки. DexManipNet состоит из 3,3 тысяч эпизодов роботизированного манипулирования и легко расширяем, что способствует дальнейшему обучению стратегий для ловких рук и позволяет внедрять их в реальных условиях.

English

Human hands play a central role in interacting, motivating increasing research in dexterous robotic manipulation. Data-driven embodied AI algorithms demand precise, large-scale, human-like manipulation sequences, which are challenging to obtain with conventional reinforcement learning or real-world teleoperation. To address this, we introduce ManipTrans, a novel two-stage method for efficiently transferring human bimanual skills to dexterous robotic hands in simulation. ManipTrans first pre-trains a generalist trajectory imitator to mimic hand motion, then fine-tunes a specific residual module under interaction constraints, enabling efficient learning and accurate execution of complex bimanual tasks. Experiments show that ManipTrans surpasses state-of-the-art methods in success rate, fidelity, and efficiency. Leveraging ManipTrans, we transfer multiple hand-object datasets to robotic hands, creating DexManipNet, a large-scale dataset featuring previously unexplored tasks like pen capping and bottle unscrewing. DexManipNet comprises 3.3K episodes of robotic manipulation and is easily extensible, facilitating further policy training for dexterous hands and enabling real-world deployments.