DexNDM: Colmare il divario con la realtà nella rotazione manuale abile tramite un modello di dinamica neurale articolare

DexNDM: Closing the Reality Gap for Dexterous In-Hand Rotation via Joint-Wise Neural Dynamics Model

October 9, 2025

Autori: Xueyi Liu, He Wang, Li Yi

cs.AI

Abstract

Il raggiungimento di una rotazione generalizzata degli oggetti in mano rimane una sfida significativa nella robotica, principalmente a causa della difficoltà nel trasferire le politiche dalla simulazione al mondo reale. Le dinamiche complesse e ricche di contatti della manipolazione manuale creano un "divario di realtà" che ha limitato i lavori precedenti a scenari vincolati che coinvolgono geometrie semplici, dimensioni e rapporti d'aspetto limitati degli oggetti, pose del polso vincolate o mani personalizzate. Affrontiamo questa sfida sim-to-real con un nuovo framework che consente a una singola politica, addestrata in simulazione, di generalizzare a una vasta gamma di oggetti e condizioni nel mondo reale. Il nucleo del nostro metodo è un modello dinamico articolare che impara a colmare il divario di realtà adattando efficacemente una quantità limitata di dati raccolti nel mondo reale e quindi adattando di conseguenza le azioni della politica di simulazione. Il modello è altamente efficiente in termini di dati e generalizzabile attraverso diverse distribuzioni di interazione dell'intera mano, fattorizzando le dinamiche tra le articolazioni, comprimendo le influenze a livello di sistema in variabili a bassa dimensionalità e apprendendo l'evoluzione di ciascuna articolazione dal proprio profilo dinamico, catturando implicitamente questi effetti netti. Lo abbiniamo a una strategia di raccolta dati completamente autonoma che raccoglie dati di interazione reali diversificati con un intervento umano minimo. La nostra pipeline completa dimostra una generalità senza precedenti: una singola politica ruota con successo oggetti impegnativi con forme complesse (ad esempio, animali), rapporti d'aspetto elevati (fino a 5,33) e dimensioni ridotte, gestendo al contempo diverse orientazioni del polso e assi di rotazione. Valutazioni complete nel mondo reale e un'applicazione di teleoperazione per compiti complessi convalidano l'efficacia e la robustezza del nostro approccio. Sito web: https://meowuu7.github.io/DexNDM/

English

Achieving generalized in-hand object rotation remains a significant challenge in robotics, largely due to the difficulty of transferring policies from simulation to the real world. The complex, contact-rich dynamics of dexterous manipulation create a "reality gap" that has limited prior work to constrained scenarios involving simple geometries, limited object sizes and aspect ratios, constrained wrist poses, or customized hands. We address this sim-to-real challenge with a novel framework that enables a single policy, trained in simulation, to generalize to a wide variety of objects and conditions in the real world. The core of our method is a joint-wise dynamics model that learns to bridge the reality gap by effectively fitting limited amount of real-world collected data and then adapting the sim policy's actions accordingly. The model is highly data-efficient and generalizable across different whole-hand interaction distributions by factorizing dynamics across joints, compressing system-wide influences into low-dimensional variables, and learning each joint's evolution from its own dynamic profile, implicitly capturing these net effects. We pair this with a fully autonomous data collection strategy that gathers diverse, real-world interaction data with minimal human intervention. Our complete pipeline demonstrates unprecedented generality: a single policy successfully rotates challenging objects with complex shapes (e.g., animals), high aspect ratios (up to 5.33), and small sizes, all while handling diverse wrist orientations and rotation axes. Comprehensive real-world evaluations and a teleoperation application for complex tasks validate the effectiveness and robustness of our approach. Website: https://meowuu7.github.io/DexNDM/