DexTrack: Verso un Controllo di Tracciamento Neurale Generalizzabile per la Manipolazione Abile da Riferimenti Umani

DexTrack: Towards Generalizable Neural Tracking Control for Dexterous Manipulation from Human References

February 13, 2025

Autori: Xueyi Liu, Jianibieke Adalibieke, Qianwei Han, Yuzhe Qin, Li Yi

cs.AI

Abstract

Affrontiamo la sfida dello sviluppo di un controllore neurale generalizzabile per il tracciamento da parte di un robot abile nella manipolazione seguendo riferimenti umani. Questo controllore mira a gestire una mano robotica abile per manipolare oggetti diversi per vari scopi definiti dalle interazioni cinematiche tra umano e oggetto. Lo sviluppo di un tale controllore è complicato dalla complessa dinamica dei contatti della manipolazione abile e dalla necessità di adattabilità, generalizzabilità e robustezza. I metodi attuali di apprendimento per rinforzo e ottimizzazione della traiettoria spesso non sono sufficienti a causa della loro dipendenza da ricompense specifiche del compito o modelli precisi del sistema. Introduciamo un approccio che raccoglie grandi dimostrazioni di tracciamento riuscite da robot, che comprendono coppie di riferimenti umani e azioni del robot, per addestrare un controllore neurale. Utilizzando un ciclo di dati, miglioriamo iterativamente le prestazioni del controllore, così come il numero e la qualità delle dimostrazioni di tracciamento riuscite. Sfruttiamo le dimostrazioni di tracciamento disponibili e integriamo attentamente l'apprendimento per rinforzo e l'apprendimento per imitazione per potenziare le prestazioni del controllore in ambienti dinamici. Allo stesso tempo, per ottenere dimostrazioni di tracciamento di alta qualità, ottimizziamo individualmente il tracciamento per traiettoria sfruttando il controllore di tracciamento appreso in un metodo di ottimizzazione omotopica. L'ottimizzazione omotopica, imitando il processo di pensiero, aiuta a risolvere problemi di tracciamento di traiettorie impegnativi per aumentare la diversità delle dimostrazioni. Mostriamo il nostro successo addestrando un controllore neurale generalizzabile e valutandolo sia in simulazione che nel mondo reale. Il sito web del progetto con risultati animati è disponibile su https://meowuu7.github.io/DexTrack/.

English

We address the challenge of developing a generalizable neural tracking controller for dexterous manipulation from human references. This controller aims to manage a dexterous robot hand to manipulate diverse objects for various purposes defined by kinematic human-object interactions. Developing such a controller is complicated by the intricate contact dynamics of dexterous manipulation and the need for adaptivity, generalizability, and robustness. Current reinforcement learning and trajectory optimization methods often fall short due to their dependence on task-specific rewards or precise system models. We introduce an approach that curates large-scale successful robot tracking demonstrations, comprising pairs of human references and robot actions, to train a neural controller. Utilizing a data flywheel, we iteratively enhance the controller's performance, as well as the number and quality of successful tracking demonstrations. We exploit available tracking demonstrations and carefully integrate reinforcement learning and imitation learning to boost the controller's performance in dynamic environments. At the same time, to obtain high-quality tracking demonstrations, we individually optimize per-trajectory tracking by leveraging the learned tracking controller in a homotopy optimization method. The homotopy optimization, mimicking chain-of-thought, aids in solving challenging trajectory tracking problems to increase demonstration diversity. We showcase our success by training a generalizable neural controller and evaluating it in both simulation and real world. Our method achieves over a 10% improvement in success rates compared to leading baselines. The project website with animated results is available at https://meowuu7.github.io/DexTrack/.