DexTrack: К общеобобщаемому нейронному управлению отслеживанием для ловкого манипулирования по образцам человека

DexTrack: Towards Generalizable Neural Tracking Control for Dexterous Manipulation from Human References

February 13, 2025

Авторы: Xueyi Liu, Jianibieke Adalibieke, Qianwei Han, Yuzhe Qin, Li Yi

cs.AI

Аннотация

Мы решаем задачу разработки обобщаемого нейронного контроллера отслеживания для ловкого манипулирования по образцу человеческих движений. Этот контроллер направлен на управление ловкой манипуляцией роботической руки для манипулирования разнообразными объектами для различных целей, определенных кинематическими взаимодействиями человек-объект. Разработка такого контроллера осложнена сложной динамикой контакта ловкого манипулирования и необходимостью адаптивности, обобщаемости и надежности. Нынешние методы обучения с подкреплением и оптимизации траектории часто оказываются недостаточными из-за зависимости от задачно-специфических вознаграждений или точных моделей системы. Мы представляем подход, который отбирает большое количество успешных демонстраций отслеживания робота, включающих пары человеческих образцов и действий робота, для обучения нейронного контроллера. Используя цикл данных, мы итеративно улучшаем производительность контроллера, а также количество и качество успешных демонстраций отслеживания. Мы используем доступные демонстрации отслеживания и тщательно интегрируем обучение с подкреплением и обучение по подражанию для улучшения производительности контроллера в динамических средах. В то же время, для получения высококачественных демонстраций отслеживания, мы индивидуально оптимизируем отслеживание для каждой траектории, используя изученный контроллер отслеживания в методе оптимизации гомотопии. Оптимизация гомотопии, имитируя цепочку мыслей, помогает решать сложные проблемы отслеживания траекторий для увеличения разнообразия демонстраций. Мы продемонстрировали наш успех, обучив обобщаемый нейронный контроллер и оценив его как в симуляции, так и в реальном мире. Наш метод достигает более чем 10% улучшения показателей успеха по сравнению с ведущими базовыми уровнями. Веб-сайт проекта с анимированными результатами доступен по адресу https://meowuu7.github.io/DexTrack/.

English

We address the challenge of developing a generalizable neural tracking controller for dexterous manipulation from human references. This controller aims to manage a dexterous robot hand to manipulate diverse objects for various purposes defined by kinematic human-object interactions. Developing such a controller is complicated by the intricate contact dynamics of dexterous manipulation and the need for adaptivity, generalizability, and robustness. Current reinforcement learning and trajectory optimization methods often fall short due to their dependence on task-specific rewards or precise system models. We introduce an approach that curates large-scale successful robot tracking demonstrations, comprising pairs of human references and robot actions, to train a neural controller. Utilizing a data flywheel, we iteratively enhance the controller's performance, as well as the number and quality of successful tracking demonstrations. We exploit available tracking demonstrations and carefully integrate reinforcement learning and imitation learning to boost the controller's performance in dynamic environments. At the same time, to obtain high-quality tracking demonstrations, we individually optimize per-trajectory tracking by leveraging the learned tracking controller in a homotopy optimization method. The homotopy optimization, mimicking chain-of-thought, aids in solving challenging trajectory tracking problems to increase demonstration diversity. We showcase our success by training a generalizable neural controller and evaluating it in both simulation and real world. Our method achieves over a 10% improvement in success rates compared to leading baselines. The project website with animated results is available at https://meowuu7.github.io/DexTrack/.