DexTrack: Rumo ao Controle Neural Generalizável para Rastreamento de Manipulação Destra a partir de Referências Humanas

DexTrack: Towards Generalizable Neural Tracking Control for Dexterous Manipulation from Human References

February 13, 2025

Autores: Xueyi Liu, Jianibieke Adalibieke, Qianwei Han, Yuzhe Qin, Li Yi

cs.AI

Resumo

Abordamos o desafio de desenvolver um controlador de rastreamento neural generalizável para manipulação habilidosa a partir de referências humanas. Este controlador tem como objetivo gerenciar uma mão de robô habilidosa para manipular objetos diversos para vários propósitos definidos por interações cinemáticas humano-objeto. Desenvolver tal controlador é complicado devido à dinâmica de contato intricada da manipulação habilidosa e à necessidade de adaptabilidade, generalização e robustez. Métodos atuais de aprendizado por reforço e otimização de trajetória frequentemente ficam aquém devido à sua dependência de recompensas específicas da tarefa ou modelos precisos do sistema. Introduzimos uma abordagem que cura demonstrações bem-sucedidas em grande escala de rastreamento de robô, compostas por pares de referências humanas e ações de robô, para treinar um controlador neural. Utilizando um ciclo de dados, aprimoramos iterativamente o desempenho do controlador, bem como o número e a qualidade das demonstrações bem-sucedidas de rastreamento. Exploramos as demonstrações de rastreamento disponíveis e integramos cuidadosamente o aprendizado por reforço e o aprendizado por imitação para impulsionar o desempenho do controlador em ambientes dinâmicos. Ao mesmo tempo, para obter demonstrações de rastreamento de alta qualidade, otimizamos individualmente o rastreamento por trajetória, alavancando o controlador de rastreamento aprendido em um método de otimização homotópica. A otimização homotópica, imitando uma cadeia de pensamento, auxilia na resolução de problemas desafiadores de rastreamento de trajetória para aumentar a diversidade das demonstrações. Demonstramos nosso sucesso ao treinar um controlador neural generalizável e avaliá-lo tanto em simulação quanto no mundo real. Nosso método alcança mais de 10% de melhoria nas taxas de sucesso em comparação com as bases líderes. O site do projeto com resultados animados está disponível em https://meowuu7.github.io/DexTrack/.

English

We address the challenge of developing a generalizable neural tracking controller for dexterous manipulation from human references. This controller aims to manage a dexterous robot hand to manipulate diverse objects for various purposes defined by kinematic human-object interactions. Developing such a controller is complicated by the intricate contact dynamics of dexterous manipulation and the need for adaptivity, generalizability, and robustness. Current reinforcement learning and trajectory optimization methods often fall short due to their dependence on task-specific rewards or precise system models. We introduce an approach that curates large-scale successful robot tracking demonstrations, comprising pairs of human references and robot actions, to train a neural controller. Utilizing a data flywheel, we iteratively enhance the controller's performance, as well as the number and quality of successful tracking demonstrations. We exploit available tracking demonstrations and carefully integrate reinforcement learning and imitation learning to boost the controller's performance in dynamic environments. At the same time, to obtain high-quality tracking demonstrations, we individually optimize per-trajectory tracking by leveraging the learned tracking controller in a homotopy optimization method. The homotopy optimization, mimicking chain-of-thought, aids in solving challenging trajectory tracking problems to increase demonstration diversity. We showcase our success by training a generalizable neural controller and evaluating it in both simulation and real world. Our method achieves over a 10% improvement in success rates compared to leading baselines. The project website with animated results is available at https://meowuu7.github.io/DexTrack/.