DexNDM: Cerrando la brecha de realidad para la rotación diestra en la mano mediante un modelo de dinámica neuronal por articulación

DexNDM: Closing the Reality Gap for Dexterous In-Hand Rotation via Joint-Wise Neural Dynamics Model

October 9, 2025

Autores: Xueyi Liu, He Wang, Li Yi

cs.AI

Resumen

Lograr la rotación generalizada de objetos en la mano sigue siendo un desafío significativo en robótica, principalmente debido a la dificultad de transferir políticas desde la simulación al mundo real. Las dinámicas complejas y ricas en contactos de la manipulación diestra crean una "brecha de realidad" que ha limitado trabajos previos a escenarios restringidos que involucran geometrías simples, tamaños y relaciones de aspecto limitados, poses de muñeca restringidas o manos personalizadas. Abordamos este desafío de simulación a realidad con un marco novedoso que permite que una única política, entrenada en simulación, se generalice a una amplia variedad de objetos y condiciones en el mundo real. El núcleo de nuestro método es un modelo de dinámica por articulación que aprende a cerrar la brecha de realidad ajustando efectivamente una cantidad limitada de datos recopilados en el mundo real y luego adaptando las acciones de la política de simulación en consecuencia. El modelo es altamente eficiente en términos de datos y generalizable a través de diferentes distribuciones de interacción de toda la mano al factorizar la dinámica entre articulaciones, comprimir influencias sistémicas en variables de baja dimensión y aprender la evolución de cada articulación a partir de su propio perfil dinámico, capturando implícitamente estos efectos netos. Esto se complementa con una estrategia de recopilación de datos completamente autónoma que recopila datos diversos de interacción en el mundo real con una intervención humana mínima. Nuestra canalización completa demuestra una generalidad sin precedentes: una única política logra rotar objetos desafiantes con formas complejas (por ejemplo, animales), relaciones de aspecto altas (hasta 5.33) y tamaños pequeños, todo mientras maneja diversas orientaciones de muñeca y ejes de rotación. Evaluaciones exhaustivas en el mundo real y una aplicación de teleoperación para tareas complejas validan la efectividad y robustez de nuestro enfoque. Sitio web: https://meowuu7.github.io/DexNDM/

English

Achieving generalized in-hand object rotation remains a significant challenge in robotics, largely due to the difficulty of transferring policies from simulation to the real world. The complex, contact-rich dynamics of dexterous manipulation create a "reality gap" that has limited prior work to constrained scenarios involving simple geometries, limited object sizes and aspect ratios, constrained wrist poses, or customized hands. We address this sim-to-real challenge with a novel framework that enables a single policy, trained in simulation, to generalize to a wide variety of objects and conditions in the real world. The core of our method is a joint-wise dynamics model that learns to bridge the reality gap by effectively fitting limited amount of real-world collected data and then adapting the sim policy's actions accordingly. The model is highly data-efficient and generalizable across different whole-hand interaction distributions by factorizing dynamics across joints, compressing system-wide influences into low-dimensional variables, and learning each joint's evolution from its own dynamic profile, implicitly capturing these net effects. We pair this with a fully autonomous data collection strategy that gathers diverse, real-world interaction data with minimal human intervention. Our complete pipeline demonstrates unprecedented generality: a single policy successfully rotates challenging objects with complex shapes (e.g., animals), high aspect ratios (up to 5.33), and small sizes, all while handling diverse wrist orientations and rotation axes. Comprehensive real-world evaluations and a teleoperation application for complex tasks validate the effectiveness and robustness of our approach. Website: https://meowuu7.github.io/DexNDM/