DexNDM: Reduzindo a Lacuna entre Realidade e Simulação para Rotação Hábil de Objetos na Mão via Modelo de Dinâmica Neural por Articulação

DexNDM: Closing the Reality Gap for Dexterous In-Hand Rotation via Joint-Wise Neural Dynamics Model

October 9, 2025

Autores: Xueyi Liu, He Wang, Li Yi

cs.AI

Resumo

A obtenção de uma rotação generalizada de objetos na mão continua sendo um desafio significativo na robótica, principalmente devido à dificuldade de transferir políticas de simulação para o mundo real. As dinâmicas complexas e ricas em contato da manipulação hábil criam uma "lacuna da realidade" que limitou trabalhos anteriores a cenários restritos envolvendo geometrias simples, tamanhos e proporções limitadas de objetos, poses de pulso restritas ou mãos personalizadas. Abordamos esse desafio de simulação para o real com uma nova estrutura que permite que uma única política, treinada em simulação, generalize para uma ampla variedade de objetos e condições no mundo real. O núcleo do nosso método é um modelo de dinâmica por articulação que aprende a preencher a lacuna da realidade ao ajustar efetivamente uma quantidade limitada de dados coletados no mundo real e, em seguida, adaptar as ações da política de simulação de acordo. O modelo é altamente eficiente em termos de dados e generalizável em diferentes distribuições de interação de mão inteira, ao fatorizar a dinâmica entre as articulações, comprimir influências de todo o sistema em variáveis de baixa dimensionalidade e aprender a evolução de cada articulação a partir de seu próprio perfil dinâmico, capturando implicitamente esses efeitos líquidos. Combinamos isso com uma estratégia de coleta de dados totalmente autônoma que coleta dados diversos de interação no mundo real com intervenção humana mínima. Nosso pipeline completo demonstra uma generalidade sem precedentes: uma única política rotaciona com sucesso objetos desafiadores com formas complexas (por exemplo, animais), altas proporções (até 5,33) e tamanhos pequenos, tudo isso enquanto lida com diversas orientações de pulso e eixos de rotação. Avaliações abrangentes no mundo real e uma aplicação de teleoperação para tarefas complexas validam a eficácia e robustez da nossa abordagem. Website: https://meowuu7.github.io/DexNDM/

English

Achieving generalized in-hand object rotation remains a significant challenge in robotics, largely due to the difficulty of transferring policies from simulation to the real world. The complex, contact-rich dynamics of dexterous manipulation create a "reality gap" that has limited prior work to constrained scenarios involving simple geometries, limited object sizes and aspect ratios, constrained wrist poses, or customized hands. We address this sim-to-real challenge with a novel framework that enables a single policy, trained in simulation, to generalize to a wide variety of objects and conditions in the real world. The core of our method is a joint-wise dynamics model that learns to bridge the reality gap by effectively fitting limited amount of real-world collected data and then adapting the sim policy's actions accordingly. The model is highly data-efficient and generalizable across different whole-hand interaction distributions by factorizing dynamics across joints, compressing system-wide influences into low-dimensional variables, and learning each joint's evolution from its own dynamic profile, implicitly capturing these net effects. We pair this with a fully autonomous data collection strategy that gathers diverse, real-world interaction data with minimal human intervention. Our complete pipeline demonstrates unprecedented generality: a single policy successfully rotates challenging objects with complex shapes (e.g., animals), high aspect ratios (up to 5.33), and small sizes, all while handling diverse wrist orientations and rotation axes. Comprehensive real-world evaluations and a teleoperation application for complex tasks validate the effectiveness and robustness of our approach. Website: https://meowuu7.github.io/DexNDM/