DexTrack: Hacia un Control de Seguimiento Neural Generalizable para la Manipulación Diestra a partir de Referencias Humanas

DexTrack: Towards Generalizable Neural Tracking Control for Dexterous Manipulation from Human References

February 13, 2025

Autores: Xueyi Liu, Jianibieke Adalibieke, Qianwei Han, Yuzhe Qin, Li Yi

cs.AI

Resumen

Abordamos el desafío de desarrollar un controlador de seguimiento neural generalizable para la manipulación hábil a partir de referencias humanas. Este controlador tiene como objetivo gestionar una mano de robot hábil para manipular diversos objetos con diferentes propósitos definidos por interacciones cinemáticas humano-objeto. El desarrollo de dicho controlador se complica por la intrincada dinámica de contacto de la manipulación hábil y la necesidad de adaptabilidad, generalización y robustez. Los métodos actuales de aprendizaje por refuerzo y optimización de trayectorias a menudo no cumplen con las expectativas debido a su dependencia de recompensas específicas de la tarea o modelos precisos del sistema. Introducimos un enfoque que selecciona demostraciones exitosas a gran escala de seguimiento de robots, que consisten en pares de referencias humanas y acciones de robot, para entrenar un controlador neural. Utilizando un ciclo de datos, mejoramos iterativamente el rendimiento del controlador, así como la cantidad y calidad de las demostraciones exitosas de seguimiento. Explotamos las demostraciones de seguimiento disponibles e integramos cuidadosamente el aprendizaje por refuerzo y el aprendizaje por imitación para potenciar el rendimiento del controlador en entornos dinámicos. Al mismo tiempo, para obtener demostraciones de seguimiento de alta calidad, optimizamos individualmente el seguimiento por trayectoria aprovechando el controlador de seguimiento aprendido en un método de optimización homotópica. La optimización homotópica, imitando una cadena de pensamiento, ayuda a resolver problemas desafiantes de seguimiento de trayectorias para aumentar la diversidad de las demostraciones. Demostramos nuestro éxito entrenando un controlador neural generalizable y evaluándolo tanto en simulación como en el mundo real. Nuestro método logra más de un 10% de mejora en las tasas de éxito en comparación con los principales baselines. El sitio web del proyecto con resultados animados está disponible en https://meowuu7.github.io/DexTrack/.

English

We address the challenge of developing a generalizable neural tracking controller for dexterous manipulation from human references. This controller aims to manage a dexterous robot hand to manipulate diverse objects for various purposes defined by kinematic human-object interactions. Developing such a controller is complicated by the intricate contact dynamics of dexterous manipulation and the need for adaptivity, generalizability, and robustness. Current reinforcement learning and trajectory optimization methods often fall short due to their dependence on task-specific rewards or precise system models. We introduce an approach that curates large-scale successful robot tracking demonstrations, comprising pairs of human references and robot actions, to train a neural controller. Utilizing a data flywheel, we iteratively enhance the controller's performance, as well as the number and quality of successful tracking demonstrations. We exploit available tracking demonstrations and carefully integrate reinforcement learning and imitation learning to boost the controller's performance in dynamic environments. At the same time, to obtain high-quality tracking demonstrations, we individually optimize per-trajectory tracking by leveraging the learned tracking controller in a homotopy optimization method. The homotopy optimization, mimicking chain-of-thought, aids in solving challenging trajectory tracking problems to increase demonstration diversity. We showcase our success by training a generalizable neural controller and evaluating it in both simulation and real world. Our method achieves over a 10% improvement in success rates compared to leading baselines. The project website with animated results is available at https://meowuu7.github.io/DexTrack/.