DexNDM: 관절 단위 신경 역학 모델을 통한 손 내부 회전의 현실 간극 해소

DexNDM: Closing the Reality Gap for Dexterous In-Hand Rotation via Joint-Wise Neural Dynamics Model

October 9, 2025

저자: Xueyi Liu, He Wang, Li Yi

cs.AI

초록

일반화된 손 내부 물체 회전을 달성하는 것은 로봇공학에서 여전히 큰 도전 과제로 남아 있으며, 이는 주로 시뮬레이션에서 실제 세계로의 정책 전달의 어려움에서 기인한다. 정교한 조작의 복잡하고 접촉이 많은 역학은 "현실 간극"을 만들어냈으며, 이는 기존 연구를 단순한 기하학, 제한된 물체 크기 및 종횡비, 제한된 손목 자세, 또는 맞춤형 손을 포함한 제한된 시나리오로 한정시켰다. 우리는 이러한 시뮬레이션-실제 간극 문제를 해결하기 위해 시뮬레이션에서 훈련된 단일 정책이 실제 세계의 다양한 물체와 조건에 일반화할 수 있도록 하는 새로운 프레임워크를 제안한다. 우리 방법의 핵심은 제한된 양의 실제 세계 데이터를 효과적으로 맞추고 시뮬레이션 정책의 동작을 그에 따라 조정함으로써 현실 간극을 해소하는 관절별 역학 모델이다. 이 모델은 관절 간 역학을 분해하고 시스템 전체의 영향을 저차원 변수로 압축하며 각 관절의 진화를 자체 동적 프로파일에서 학습함으로써 이러한 순 효과를 암묵적으로 포착함으로써 데이터 효율성이 높고 다양한 전체 손 상호작용 분포에 걸쳐 일반화 가능하다. 우리는 이를 최소한의 인간 개입으로 다양한 실제 세계 상호작용 데이터를 수집하는 완전 자율 데이터 수집 전략과 결합한다. 우리의 완전한 파이프라인은 전례 없는 일반성을 보여준다: 단일 정책이 복잡한 형태(예: 동물), 높은 종횡비(최대 5.33), 그리고 작은 크기의 도전적인 물체를 성공적으로 회전시키며 다양한 손목 방향과 회전 축을 처리한다. 포괄적인 실제 세계 평가와 복잡한 작업을 위한 원격 조작 애플리케이션은 우리 접근법의 효과성과 견고성을 검증한다. 웹사이트: https://meowuu7.github.io/DexNDM/

English

Achieving generalized in-hand object rotation remains a significant challenge in robotics, largely due to the difficulty of transferring policies from simulation to the real world. The complex, contact-rich dynamics of dexterous manipulation create a "reality gap" that has limited prior work to constrained scenarios involving simple geometries, limited object sizes and aspect ratios, constrained wrist poses, or customized hands. We address this sim-to-real challenge with a novel framework that enables a single policy, trained in simulation, to generalize to a wide variety of objects and conditions in the real world. The core of our method is a joint-wise dynamics model that learns to bridge the reality gap by effectively fitting limited amount of real-world collected data and then adapting the sim policy's actions accordingly. The model is highly data-efficient and generalizable across different whole-hand interaction distributions by factorizing dynamics across joints, compressing system-wide influences into low-dimensional variables, and learning each joint's evolution from its own dynamic profile, implicitly capturing these net effects. We pair this with a fully autonomous data collection strategy that gathers diverse, real-world interaction data with minimal human intervention. Our complete pipeline demonstrates unprecedented generality: a single policy successfully rotates challenging objects with complex shapes (e.g., animals), high aspect ratios (up to 5.33), and small sizes, all while handling diverse wrist orientations and rotation axes. Comprehensive real-world evaluations and a teleoperation application for complex tasks validate the effectiveness and robustness of our approach. Website: https://meowuu7.github.io/DexNDM/