DexNDM : Réduction de l'écart réalité-simulation pour la rotation dextre en main via un modèle de dynamique neuronale articulaire

DexNDM: Closing the Reality Gap for Dexterous In-Hand Rotation via Joint-Wise Neural Dynamics Model

October 9, 2025

papers.authors: Xueyi Liu, He Wang, Li Yi

cs.AI

papers.abstract

La réalisation d'une rotation généralisée d'objets en main reste un défi majeur en robotique, principalement en raison de la difficulté à transférer les politiques de la simulation au monde réel. Les dynamiques complexes et riches en contacts de la manipulation dextre créent un "fossé de réalité" qui a limité les travaux antérieurs à des scénarios contraints impliquant des géométries simples, des tailles et des rapports d'aspect limités, des poses de poignet contraintes ou des mains personnalisées. Nous abordons ce défi de transfert simulation-réalité avec un nouveau cadre qui permet à une seule politique, entraînée en simulation, de généraliser à une grande variété d'objets et de conditions dans le monde réel. Le cœur de notre méthode est un modèle de dynamique articulaire qui apprend à combler le fossé de réalité en ajustant efficacement une quantité limitée de données collectées dans le monde réel, puis en adaptant les actions de la politique de simulation en conséquence. Le modèle est très économe en données et généralisable à différentes distributions d'interaction de la main entière en factorisant la dynamique à travers les articulations, en comprimant les influences à l'échelle du système en variables de faible dimension, et en apprenant l'évolution de chaque articulation à partir de son propre profil dynamique, capturant implicitement ces effets nets. Nous combinons cela avec une stratégie de collecte de données entièrement autonome qui recueille des données d'interaction réelles diversifiées avec une intervention humaine minimale. Notre pipeline complet démontre une généralité sans précédent : une seule politique réussit à faire tourner des objets difficiles avec des formes complexes (par exemple, des animaux), des rapports d'aspect élevés (jusqu'à 5,33) et de petites tailles, tout en gérant diverses orientations de poignet et axes de rotation. Des évaluations approfondies dans le monde réel et une application de téléopération pour des tâches complexes valident l'efficacité et la robustesse de notre approche. Site web : https://meowuu7.github.io/DexNDM/

English

Achieving generalized in-hand object rotation remains a significant challenge in robotics, largely due to the difficulty of transferring policies from simulation to the real world. The complex, contact-rich dynamics of dexterous manipulation create a "reality gap" that has limited prior work to constrained scenarios involving simple geometries, limited object sizes and aspect ratios, constrained wrist poses, or customized hands. We address this sim-to-real challenge with a novel framework that enables a single policy, trained in simulation, to generalize to a wide variety of objects and conditions in the real world. The core of our method is a joint-wise dynamics model that learns to bridge the reality gap by effectively fitting limited amount of real-world collected data and then adapting the sim policy's actions accordingly. The model is highly data-efficient and generalizable across different whole-hand interaction distributions by factorizing dynamics across joints, compressing system-wide influences into low-dimensional variables, and learning each joint's evolution from its own dynamic profile, implicitly capturing these net effects. We pair this with a fully autonomous data collection strategy that gathers diverse, real-world interaction data with minimal human intervention. Our complete pipeline demonstrates unprecedented generality: a single policy successfully rotates challenging objects with complex shapes (e.g., animals), high aspect ratios (up to 5.33), and small sizes, all while handling diverse wrist orientations and rotation axes. Comprehensive real-world evaluations and a teleoperation application for complex tasks validate the effectiveness and robustness of our approach. Website: https://meowuu7.github.io/DexNDM/