Captura Ágil con MPC de Cuerpo Completo y Aprendizaje de Políticas de Caja Negra

Agile Catching with Whole-Body MPC and Blackbox Policy Learning

June 14, 2023

Autores: Saminda Abeyruwan, Alex Bewley, Nicholas M. Boffi, Krzysztof Choromanski, David D'Ambrosio, Deepali Jain, Pannag Sanketi, Anish Shankar, Vikas Sindhwani, Sumeet Singh, Jean-Jacques Slotine, Stephen Tu

cs.AI

Resumen

Abordamos una tarea de referencia en robótica ágil: atrapar objetos lanzados a alta velocidad. Esta es una tarea desafiante que implica rastrear, interceptar y acunar un objeto lanzado, con acceso únicamente a observaciones visuales del objeto y al estado propioceptivo del robot, todo en una fracción de segundo. Presentamos los méritos relativos de dos estrategias de solución fundamentalmente diferentes: (i) Control Predictivo basado en Modelos utilizando optimización de trayectorias con restricciones aceleradas, y (ii) Aprendizaje por Refuerzo utilizando optimización de orden cero. Ofrecemos insights sobre varios compromisos de rendimiento, incluyendo eficiencia de muestreo, transferencia de simulación a realidad, robustez frente a cambios de distribución y multimodalidad de cuerpo completo, mediante extensos experimentos en hardware. Concluimos con propuestas para fusionar técnicas "clásicas" y "basadas en aprendizaje" para el control ágil de robots. Los videos de nuestros experimentos pueden encontrarse en https://sites.google.com/view/agile-catching.

English

We address a benchmark task in agile robotics: catching objects thrown at high-speed. This is a challenging task that involves tracking, intercepting, and cradling a thrown object with access only to visual observations of the object and the proprioceptive state of the robot, all within a fraction of a second. We present the relative merits of two fundamentally different solution strategies: (i) Model Predictive Control using accelerated constrained trajectory optimization, and (ii) Reinforcement Learning using zeroth-order optimization. We provide insights into various performance trade-offs including sample efficiency, sim-to-real transfer, robustness to distribution shifts, and whole-body multimodality via extensive on-hardware experiments. We conclude with proposals on fusing "classical" and "learning-based" techniques for agile robot control. Videos of our experiments may be found at https://sites.google.com/view/agile-catching