DexTrack: Naar Algemene Neurale Volgcontrole voor Behendige Manipulatie van Menselijke Referenties

DexTrack: Towards Generalizable Neural Tracking Control for Dexterous Manipulation from Human References

February 13, 2025

Auteurs: Xueyi Liu, Jianibieke Adalibieke, Qianwei Han, Yuzhe Qin, Li Yi

cs.AI

Samenvatting

We richten ons op de uitdaging om een generaliseerbare neurale trackingcontroller te ontwikkelen voor behendige manipulatie vanuit menselijke referenties. Deze controller heeft tot doel een behendige robot hand te beheren om diverse objecten te manipuleren voor verschillende doeleinden gedefinieerd door kinematische mens-object interacties. Het ontwikkelen van zo'n controller wordt bemoeilijkt door de complexe contactdynamiek van behendige manipulatie en de noodzaak van aanpasbaarheid, generaliseerbaarheid en robuustheid. Huidige reinforcement learning en trajectoptimalisatiemethoden schieten vaak tekort vanwege hun afhankelijkheid van taakspecifieke beloningen of precieze systeemmodellen. We introduceren een benadering die grote succesvolle robot trackingdemonstraties samenstelt, bestaande uit paren van menselijke referenties en robotacties, om een neurale controller te trainen. Door gebruik te maken van een data-vliegwiel verbeteren we iteratief de prestaties van de controller, evenals het aantal en de kwaliteit van succesvolle trackingdemonstraties. We benutten beschikbare trackingdemonstraties en integreren zorgvuldig reinforcement learning en imitatieleren om de prestaties van de controller in dynamische omgevingen te verbeteren. Tegelijkertijd optimaliseren we per-traject tracking individueel door gebruik te maken van de geleerde trackingcontroller in een homotopie-optimalisatiemethode om hoogwaardige trackingdemonstraties te verkrijgen. De homotopie-optimalisatie, die ketendenken nabootst, helpt bij het oplossen van uitdagende trajecttrackingproblemen om de diversiteit van demonstraties te vergroten. We tonen ons succes aan door een generaliseerbare neurale controller te trainen en deze te evalueren in zowel simulatie als de echte wereld. Onze methode behaalt meer dan 10% verbetering in succespercentages in vergelijking met toonaangevende baselines. De projectwebsite met geanimeerde resultaten is beschikbaar op https://meowuu7.github.io/DexTrack/.

English

We address the challenge of developing a generalizable neural tracking controller for dexterous manipulation from human references. This controller aims to manage a dexterous robot hand to manipulate diverse objects for various purposes defined by kinematic human-object interactions. Developing such a controller is complicated by the intricate contact dynamics of dexterous manipulation and the need for adaptivity, generalizability, and robustness. Current reinforcement learning and trajectory optimization methods often fall short due to their dependence on task-specific rewards or precise system models. We introduce an approach that curates large-scale successful robot tracking demonstrations, comprising pairs of human references and robot actions, to train a neural controller. Utilizing a data flywheel, we iteratively enhance the controller's performance, as well as the number and quality of successful tracking demonstrations. We exploit available tracking demonstrations and carefully integrate reinforcement learning and imitation learning to boost the controller's performance in dynamic environments. At the same time, to obtain high-quality tracking demonstrations, we individually optimize per-trajectory tracking by leveraging the learned tracking controller in a homotopy optimization method. The homotopy optimization, mimicking chain-of-thought, aids in solving challenging trajectory tracking problems to increase demonstration diversity. We showcase our success by training a generalizable neural controller and evaluating it in both simulation and real world. Our method achieves over a 10% improvement in success rates compared to leading baselines. The project website with animated results is available at https://meowuu7.github.io/DexTrack/.