DexTrack: Auf dem Weg zu einer generalisierbaren neuronalen Tracking-Steuerung für geschickte Manipulationen basierend auf menschlichen Referenzen

DexTrack: Towards Generalizable Neural Tracking Control for Dexterous Manipulation from Human References

February 13, 2025

Autoren: Xueyi Liu, Jianibieke Adalibieke, Qianwei Han, Yuzhe Qin, Li Yi

cs.AI

Zusammenfassung

Wir adressieren die Herausforderung, einen generalisierbaren neuronalen Tracking-Regler für geschickte Manipulationen aus menschlichen Referenzen zu entwickeln. Dieser Regler zielt darauf ab, eine geschickte Roboterhand zu verwalten, um diverse Objekte für verschiedene Zwecke zu manipulieren, die durch kinematische Mensch-Objekt-Interaktionen definiert sind. Die Entwicklung eines solchen Reglers wird durch die komplexen Kontaktmechanismen geschickter Manipulationen und die Notwendigkeit von Anpassungsfähigkeit, Generalisierbarkeit und Robustheit erschwert. Aktuelle Methoden des verstärkenden Lernens und der Trajektorienoptimierung stoßen oft an ihre Grenzen, da sie von aufgabenspezifischen Belohnungen oder präzisen Systemmodellen abhängig sind. Wir stellen einen Ansatz vor, der eine Vielzahl erfolgreicher Roboter-Tracking-Demonstrationen kuratiert, bestehend aus Paaren von menschlichen Referenzen und Roboteraktionen, um einen neuronalen Regler zu trainieren. Durch die Nutzung eines Datenfließrades verbessern wir iterativ die Leistung des Reglers sowie die Anzahl und Qualität erfolgreicher Tracking-Demonstrationen. Wir nutzen verfügbare Tracking-Demonstrationen aus und integrieren sorgfältig Verstärkendes Lernen und Imitationslernen, um die Leistung des Reglers in dynamischen Umgebungen zu steigern. Gleichzeitig optimieren wir die Verfolgung pro Trajektorie individuell, indem wir den gelernten Tracking-Regler in einer Homotopie-Optimierungsmethode nutzen. Die Homotopie-Optimierung, die dem Denkprozess ähnelt, hilft dabei, herausfordernde Trajektorienverfolgungsprobleme zu lösen, um die Diversität der Demonstrationen zu erhöhen. Wir präsentieren unseren Erfolg durch das Training eines generalisierbaren neuronalen Reglers und evaluieren ihn sowohl in der Simulation als auch in der realen Welt. Unsere Methode erzielt eine Erfolgsrate von über 10% im Vergleich zu führenden Baselines. Die Projektwebsite mit animierten Ergebnissen ist unter https://meowuu7.github.io/DexTrack/ verfügbar.

English

We address the challenge of developing a generalizable neural tracking controller for dexterous manipulation from human references. This controller aims to manage a dexterous robot hand to manipulate diverse objects for various purposes defined by kinematic human-object interactions. Developing such a controller is complicated by the intricate contact dynamics of dexterous manipulation and the need for adaptivity, generalizability, and robustness. Current reinforcement learning and trajectory optimization methods often fall short due to their dependence on task-specific rewards or precise system models. We introduce an approach that curates large-scale successful robot tracking demonstrations, comprising pairs of human references and robot actions, to train a neural controller. Utilizing a data flywheel, we iteratively enhance the controller's performance, as well as the number and quality of successful tracking demonstrations. We exploit available tracking demonstrations and carefully integrate reinforcement learning and imitation learning to boost the controller's performance in dynamic environments. At the same time, to obtain high-quality tracking demonstrations, we individually optimize per-trajectory tracking by leveraging the learned tracking controller in a homotopy optimization method. The homotopy optimization, mimicking chain-of-thought, aids in solving challenging trajectory tracking problems to increase demonstration diversity. We showcase our success by training a generalizable neural controller and evaluating it in both simulation and real world. Our method achieves over a 10% improvement in success rates compared to leading baselines. The project website with animated results is available at https://meowuu7.github.io/DexTrack/.