DexTrack : Vers un Contrôle de Suivi Neuronal Généralisable pour la Manipulation Habile à partir de Références Humaines

DexTrack: Towards Generalizable Neural Tracking Control for Dexterous Manipulation from Human References

February 13, 2025

Auteurs: Xueyi Liu, Jianibieke Adalibieke, Qianwei Han, Yuzhe Qin, Li Yi

cs.AI

Résumé

Nous abordons le défi de développer un contrôleur de suivi neuronal généralisable pour la manipulation habile à partir de références humaines. Ce contrôleur vise à gérer une main de robot habile pour manipuler divers objets à des fins variées définies par les interactions cinématiques humain-objet. Le développement d'un tel contrôleur est compliqué par la dynamique de contact complexe de la manipulation habile et la nécessité d'adaptabilité, de généralisabilité et de robustesse. Les méthodes actuelles d'apprentissage par renforcement et d'optimisation de trajectoire sont souvent insuffisantes en raison de leur dépendance aux récompenses spécifiques à la tâche ou aux modèles précis du système. Nous introduisons une approche qui sélectionne de vastes démonstrations réussies de suivi de robot, comprenant des paires de références humaines et d'actions de robot, pour entraîner un contrôleur neuronal. En utilisant un mécanisme de rétroaction de données, nous améliorons de manière itérative les performances du contrôleur, ainsi que le nombre et la qualité des démonstrations de suivi réussies. Nous exploitons les démonstrations de suivi disponibles et intégrons soigneusement l'apprentissage par renforcement et l'apprentissage par imitation pour améliorer les performances du contrôleur dans des environnements dynamiques. En parallèle, pour obtenir des démonstrations de suivi de haute qualité, nous optimisons individuellement le suivi par trajectoire en tirant parti du contrôleur de suivi appris dans une méthode d'optimisation homotopique. L'optimisation homotopique, imitant une chaîne de pensée, aide à résoudre des problèmes complexes de suivi de trajectoire pour augmenter la diversité des démonstrations. Nous démontrons notre réussite en formant un contrôleur neuronal généralisable et en l'évaluant à la fois en simulation et dans le monde réel. Notre méthode atteint plus de 10% d'amélioration des taux de réussite par rapport aux références principales. Le site web du projet avec des résultats animés est disponible à l'adresse https://meowuu7.github.io/DexTrack/.

English

We address the challenge of developing a generalizable neural tracking controller for dexterous manipulation from human references. This controller aims to manage a dexterous robot hand to manipulate diverse objects for various purposes defined by kinematic human-object interactions. Developing such a controller is complicated by the intricate contact dynamics of dexterous manipulation and the need for adaptivity, generalizability, and robustness. Current reinforcement learning and trajectory optimization methods often fall short due to their dependence on task-specific rewards or precise system models. We introduce an approach that curates large-scale successful robot tracking demonstrations, comprising pairs of human references and robot actions, to train a neural controller. Utilizing a data flywheel, we iteratively enhance the controller's performance, as well as the number and quality of successful tracking demonstrations. We exploit available tracking demonstrations and carefully integrate reinforcement learning and imitation learning to boost the controller's performance in dynamic environments. At the same time, to obtain high-quality tracking demonstrations, we individually optimize per-trajectory tracking by leveraging the learned tracking controller in a homotopy optimization method. The homotopy optimization, mimicking chain-of-thought, aids in solving challenging trajectory tracking problems to increase demonstration diversity. We showcase our success by training a generalizable neural controller and evaluating it in both simulation and real world. Our method achieves over a 10% improvement in success rates compared to leading baselines. The project website with animated results is available at https://meowuu7.github.io/DexTrack/.