DexNDM: 関節単位のニューラルダイナミクスモデルによる器用な手内回転の現実ギャップの解消

DexNDM: Closing the Reality Gap for Dexterous In-Hand Rotation via Joint-Wise Neural Dynamics Model

October 9, 2025

著者: Xueyi Liu, He Wang, Li Yi

cs.AI

要旨

汎用的な手内物体回転の実現は、ロボティクスにおける重要な課題であり、その主な原因はシミュレーションから現実世界へのポリシー移行の難しさにある。器用な操作に伴う複雑で接触の多いダイナミクスは「現実ギャップ」を生み出し、これまでの研究は単純な形状、限られた物体サイズやアスペクト比、制約された手首姿勢、またはカスタマイズされたハンドを用いた限定されたシナリオに留まっていた。本研究では、シミュレーションで訓練された単一のポリシーが現実世界の多様な物体や条件に汎化することを可能にする新しいフレームワークを提案し、このシミュレーションから現実への課題に対処する。本手法の核心は、現実世界で収集された限られたデータを効果的にフィッティングし、シミュレーションポリシーの動作を適応させることで現実ギャップを埋める関節単位のダイナミクスモデルである。このモデルは、関節間のダイナミクスを因数分解し、システム全体の影響を低次元変数に圧縮し、各関節の進化をその独自のダイナミクスプロファイルから学習することで、これらのネット効果を暗黙的に捉えることにより、高いデータ効率性と異なる全手インタラクション分布への汎化性を実現している。さらに、最小限の人的介入で多様な現実世界のインタラクションデータを収集する完全自律型データ収集戦略を組み合わせている。本手法の完全なパイプラインは、複雑な形状（例：動物）、高いアスペクト比（最大5.33）、小さなサイズの物体を、多様な手首の向きや回転軸を扱いながら回転させるという前例のない汎用性を示している。包括的な現実世界での評価と複雑なタスクのためのテレオペレーションアプリケーションにより、本アプローチの有効性と堅牢性が検証されている。ウェブサイト: https://meowuu7.github.io/DexNDM/

English

Achieving generalized in-hand object rotation remains a significant challenge in robotics, largely due to the difficulty of transferring policies from simulation to the real world. The complex, contact-rich dynamics of dexterous manipulation create a "reality gap" that has limited prior work to constrained scenarios involving simple geometries, limited object sizes and aspect ratios, constrained wrist poses, or customized hands. We address this sim-to-real challenge with a novel framework that enables a single policy, trained in simulation, to generalize to a wide variety of objects and conditions in the real world. The core of our method is a joint-wise dynamics model that learns to bridge the reality gap by effectively fitting limited amount of real-world collected data and then adapting the sim policy's actions accordingly. The model is highly data-efficient and generalizable across different whole-hand interaction distributions by factorizing dynamics across joints, compressing system-wide influences into low-dimensional variables, and learning each joint's evolution from its own dynamic profile, implicitly capturing these net effects. We pair this with a fully autonomous data collection strategy that gathers diverse, real-world interaction data with minimal human intervention. Our complete pipeline demonstrates unprecedented generality: a single policy successfully rotates challenging objects with complex shapes (e.g., animals), high aspect ratios (up to 5.33), and small sizes, all while handling diverse wrist orientations and rotation axes. Comprehensive real-world evaluations and a teleoperation application for complex tasks validate the effectiveness and robustness of our approach. Website: https://meowuu7.github.io/DexNDM/