DexNDM: Schließen der Realitätslücke für geschickte In-Hand-Rotation durch ein gelenkweises neuronales Dynamikmodell

DexNDM: Closing the Reality Gap for Dexterous In-Hand Rotation via Joint-Wise Neural Dynamics Model

October 9, 2025

papers.authors: Xueyi Liu, He Wang, Li Yi

cs.AI

papers.abstract

Die Realisierung einer generalisierten In-Hand-Objektrotation bleibt eine bedeutende Herausforderung in der Robotik, hauptsächlich aufgrund der Schwierigkeit, Richtlinien von der Simulation in die reale Welt zu übertragen. Die komplexen, kontaktreichen Dynamiken der geschickten Manipulation erzeugen eine „Realitätslücke“, die bisherige Arbeiten auf eingeschränkte Szenarien beschränkt hat, die einfache Geometrien, begrenzte Objektgrößen und Seitenverhältnisse, eingeschränkte Handgelenkstellungen oder maßgeschneiderte Hände betreffen. Wir adressieren diese Sim-to-Real-Herausforderung mit einem neuartigen Framework, das es einer einzelnen, in der Simulation trainierten Richtlinie ermöglicht, auf eine Vielzahl von Objekten und Bedingungen in der realen Welt zu generalisieren. Der Kern unserer Methode ist ein gelenkweises Dynamikmodell, das lernt, die Realitätslücke zu überbrücken, indem es effektiv begrenzte Mengen realer gesammelter Daten anpasst und dann die Aktionen der Simulationsrichtlinie entsprechend anpasst. Das Modell ist äußerst dateneffizient und generalisierbar über verschiedene Ganzhand-Interaktionsverteilungen hinweg, indem es die Dynamik über Gelenke faktorisiert, systemweite Einflüsse in niedrigdimensionale Variablen komprimiert und die Entwicklung jedes Gelenks aus seinem eigenen dynamischen Profil lernt, wodurch diese Nettoeffekte implizit erfasst werden. Wir kombinieren dies mit einer vollständig autonomen Datenerfassungsstrategie, die vielfältige, reale Interaktionsdaten mit minimalem menschlichen Eingriff sammelt. Unsere vollständige Pipeline demonstriert eine beispiellose Allgemeingültigkeit: Eine einzelne Richtlinie rotiert erfolgreich anspruchsvolle Objekte mit komplexen Formen (z.B. Tiere), hohen Seitenverhältnissen (bis zu 5,33) und kleinen Größen, während sie gleichzeitig diverse Handgelenkorientierungen und Rotationsachsen bewältigt. Umfassende reale Bewertungen und eine Teleoperationsanwendung für komplexe Aufgaben validieren die Wirksamkeit und Robustheit unseres Ansatzes. Website: https://meowuu7.github.io/DexNDM/

English

Achieving generalized in-hand object rotation remains a significant challenge in robotics, largely due to the difficulty of transferring policies from simulation to the real world. The complex, contact-rich dynamics of dexterous manipulation create a "reality gap" that has limited prior work to constrained scenarios involving simple geometries, limited object sizes and aspect ratios, constrained wrist poses, or customized hands. We address this sim-to-real challenge with a novel framework that enables a single policy, trained in simulation, to generalize to a wide variety of objects and conditions in the real world. The core of our method is a joint-wise dynamics model that learns to bridge the reality gap by effectively fitting limited amount of real-world collected data and then adapting the sim policy's actions accordingly. The model is highly data-efficient and generalizable across different whole-hand interaction distributions by factorizing dynamics across joints, compressing system-wide influences into low-dimensional variables, and learning each joint's evolution from its own dynamic profile, implicitly capturing these net effects. We pair this with a fully autonomous data collection strategy that gathers diverse, real-world interaction data with minimal human intervention. Our complete pipeline demonstrates unprecedented generality: a single policy successfully rotates challenging objects with complex shapes (e.g., animals), high aspect ratios (up to 5.33), and small sizes, all while handling diverse wrist orientations and rotation axes. Comprehensive real-world evaluations and a teleoperation application for complex tasks validate the effectiveness and robustness of our approach. Website: https://meowuu7.github.io/DexNDM/