DexNDM: Het dichten van de realiteitskloof voor behendige in-hand rotatie via een gewrichtsgewijs neuraal dynamisch model

DexNDM: Closing the Reality Gap for Dexterous In-Hand Rotation via Joint-Wise Neural Dynamics Model

October 9, 2025

Auteurs: Xueyi Liu, He Wang, Li Yi

cs.AI

Samenvatting

Het bereiken van gegeneraliseerde in-hand objectrotatie blijft een aanzienlijke uitdaging in de robotica, grotendeels vanwege de moeilijkheid om beleid van simulatie naar de echte wereld over te dragen. De complexe, contactrijke dynamiek van behendige manipulatie creëert een "realiteitskloof" die eerder werk heeft beperkt tot beperkte scenario's met eenvoudige geometrieën, beperkte objectgroottes en aspectverhoudingen, beperkte polsposities of aangepaste handen. Wij pakken deze sim-naar-real-uitdaging aan met een nieuw raamwerk dat een enkel beleid, getraind in simulatie, in staat stelt om te generaliseren naar een breed scala aan objecten en omstandigheden in de echte wereld. De kern van onze methode is een dynamisch model per gewricht dat leert om de realiteitskloof te overbruggen door effectief beperkte hoeveelheden verzamelde real-world data te passen en vervolgens de acties van het sim-beleid dienovereenkomstig aan te passen. Het model is zeer data-efficiënt en generaliseerbaar over verschillende interactiedistributies van de gehele hand door dynamiek over gewrichten te factoriseren, systeembrede invloeden te comprimeren in laagdimensionale variabelen, en de evolutie van elk gewricht te leren vanuit zijn eigen dynamische profiel, waarbij deze netto-effecten impliciet worden vastgelegd. We combineren dit met een volledig autonome dataverzamelingsstrategie die diverse, real-world interactiedata verzamelt met minimale menselijke tussenkomst. Onze complete pijplijn demonstreert een ongekende generaliteit: een enkel beleid roteert met succes uitdagende objecten met complexe vormen (bijv. dieren), hoge aspectverhoudingen (tot 5.33) en kleine afmetingen, allemaal terwijl het diverse polsoriëntaties en rotatieassen hanteert. Uitgebreide real-world evaluaties en een teleoperatieapplicatie voor complexe taken valideren de effectiviteit en robuustheid van onze aanpak. Website: https://meowuu7.github.io/DexNDM/

English

Achieving generalized in-hand object rotation remains a significant challenge in robotics, largely due to the difficulty of transferring policies from simulation to the real world. The complex, contact-rich dynamics of dexterous manipulation create a "reality gap" that has limited prior work to constrained scenarios involving simple geometries, limited object sizes and aspect ratios, constrained wrist poses, or customized hands. We address this sim-to-real challenge with a novel framework that enables a single policy, trained in simulation, to generalize to a wide variety of objects and conditions in the real world. The core of our method is a joint-wise dynamics model that learns to bridge the reality gap by effectively fitting limited amount of real-world collected data and then adapting the sim policy's actions accordingly. The model is highly data-efficient and generalizable across different whole-hand interaction distributions by factorizing dynamics across joints, compressing system-wide influences into low-dimensional variables, and learning each joint's evolution from its own dynamic profile, implicitly capturing these net effects. We pair this with a fully autonomous data collection strategy that gathers diverse, real-world interaction data with minimal human intervention. Our complete pipeline demonstrates unprecedented generality: a single policy successfully rotates challenging objects with complex shapes (e.g., animals), high aspect ratios (up to 5.33), and small sizes, all while handling diverse wrist orientations and rotation axes. Comprehensive real-world evaluations and a teleoperation application for complex tasks validate the effectiveness and robustness of our approach. Website: https://meowuu7.github.io/DexNDM/