Гибкий захват с использованием MPC для всего тела и обучения чернобоксной политике
Agile Catching with Whole-Body MPC and Blackbox Policy Learning
June 14, 2023
Авторы: Saminda Abeyruwan, Alex Bewley, Nicholas M. Boffi, Krzysztof Choromanski, David D'Ambrosio, Deepali Jain, Pannag Sanketi, Anish Shankar, Vikas Sindhwani, Sumeet Singh, Jean-Jacques Slotine, Stephen Tu
cs.AI
Аннотация
Мы рассматриваем эталонную задачу в области гибкой робототехники: захват объектов, брошенных на высокой скорости. Это сложная задача, которая включает отслеживание, перехват и удержание брошенного объекта с использованием только визуальных наблюдений за объектом и проприоцептивного состояния робота, причем все это должно быть выполнено за доли секунды. Мы представляем сравнительные преимущества двух принципиально разных стратегий решения: (i) Модельно-прогнозирующее управление с использованием ускоренной оптимизации ограниченных траекторий и (ii) Обучение с подкреплением с использованием оптимизации нулевого порядка. Мы предоставляем анализ различных компромиссов в производительности, включая эффективность использования данных, перенос из симуляции в реальность, устойчивость к сдвигам распределения и многомодальность всего тела, на основе обширных экспериментов на реальном оборудовании. В заключение мы предлагаем подходы к объединению "классических" и "основанных на обучении" методов для управления гибкими роботами. Видео наших экспериментов доступны по ссылке: https://sites.google.com/view/agile-catching.
English
We address a benchmark task in agile robotics: catching objects thrown at
high-speed. This is a challenging task that involves tracking, intercepting,
and cradling a thrown object with access only to visual observations of the
object and the proprioceptive state of the robot, all within a fraction of a
second. We present the relative merits of two fundamentally different solution
strategies: (i) Model Predictive Control using accelerated constrained
trajectory optimization, and (ii) Reinforcement Learning using zeroth-order
optimization. We provide insights into various performance trade-offs including
sample efficiency, sim-to-real transfer, robustness to distribution shifts, and
whole-body multimodality via extensive on-hardware experiments. We conclude
with proposals on fusing "classical" and "learning-based" techniques for agile
robot control. Videos of our experiments may be found at
https://sites.google.com/view/agile-catching