DexNDM: Преодоление разрыва между реальностью и моделированием для ловкого вращения объектов в руке с помощью нейронной модели динамики на уровне суставов

DexNDM: Closing the Reality Gap for Dexterous In-Hand Rotation via Joint-Wise Neural Dynamics Model

October 9, 2025

Авторы: Xueyi Liu, He Wang, Li Yi

cs.AI

Аннотация

Достижение обобщённого вращения объектов в руке остаётся серьёзной проблемой в робототехнике, в основном из-за сложности переноса политик из симуляции в реальный мир. Сложная, насыщенная контактами динамика ловкого манипулирования создаёт "разрыв между реальностью и симуляцией", который ограничивал предыдущие работы сценариями с простыми геометриями, ограниченными размерами и соотношениями сторон объектов, фиксированными положениями запястья или специализированными манипуляторами. Мы решаем эту проблему переноса с помощью новой методологии, которая позволяет одной политике, обученной в симуляции, обобщаться на широкий спектр объектов и условий в реальном мире. Основой нашего метода является модель динамики на уровне суставов, которая учится преодолевать разрыв между реальностью и симуляцией, эффективно адаптируясь к ограниченному количеству данных, собранных в реальном мире, и корректируя действия политики из симуляции. Модель отличается высокой эффективностью использования данных и способностью к обобщению для различных распределений взаимодействий всей руки благодаря факторизации динамики по суставам, сжатию системных влияний в низкоразмерные переменные и обучению эволюции каждого сустава на основе его собственного динамического профиля, что неявно учитывает эти суммарные эффекты. Мы дополняем это полностью автономной стратегией сбора данных, которая собирает разнообразные данные о взаимодействиях в реальном мире с минимальным вмешательством человека. Наш полный подход демонстрирует беспрецедентную универсальность: одна политика успешно вращает сложные объекты с причудливыми формами (например, фигурки животных), высокими соотношениями сторон (до 5.33) и малыми размерами, одновременно справляясь с различными ориентациями запястья и осями вращения. Всесторонние оценки в реальном мире и применение для телеуправления в сложных задачах подтверждают эффективность и надёжность нашего подхода. Сайт: https://meowuu7.github.io/DexNDM/

English

Achieving generalized in-hand object rotation remains a significant challenge in robotics, largely due to the difficulty of transferring policies from simulation to the real world. The complex, contact-rich dynamics of dexterous manipulation create a "reality gap" that has limited prior work to constrained scenarios involving simple geometries, limited object sizes and aspect ratios, constrained wrist poses, or customized hands. We address this sim-to-real challenge with a novel framework that enables a single policy, trained in simulation, to generalize to a wide variety of objects and conditions in the real world. The core of our method is a joint-wise dynamics model that learns to bridge the reality gap by effectively fitting limited amount of real-world collected data and then adapting the sim policy's actions accordingly. The model is highly data-efficient and generalizable across different whole-hand interaction distributions by factorizing dynamics across joints, compressing system-wide influences into low-dimensional variables, and learning each joint's evolution from its own dynamic profile, implicitly capturing these net effects. We pair this with a fully autonomous data collection strategy that gathers diverse, real-world interaction data with minimal human intervention. Our complete pipeline demonstrates unprecedented generality: a single policy successfully rotates challenging objects with complex shapes (e.g., animals), high aspect ratios (up to 5.33), and small sizes, all while handling diverse wrist orientations and rotation axes. Comprehensive real-world evaluations and a teleoperation application for complex tasks validate the effectiveness and robustness of our approach. Website: https://meowuu7.github.io/DexNDM/