Attraper avec agilité grâce à la MPC corps entier et à l'apprentissage de politiques boîte noire

Agile Catching with Whole-Body MPC and Blackbox Policy Learning

June 14, 2023

Auteurs: Saminda Abeyruwan, Alex Bewley, Nicholas M. Boffi, Krzysztof Choromanski, David D'Ambrosio, Deepali Jain, Pannag Sanketi, Anish Shankar, Vikas Sindhwani, Sumeet Singh, Jean-Jacques Slotine, Stephen Tu

cs.AI

Résumé

Nous abordons une tâche de référence en robotique agile : l'interception d'objets lancés à haute vitesse. Il s'agit d'une tâche complexe qui implique le suivi, l'interception et la réception d'un objet en mouvement, avec pour seules informations les observations visuelles de l'objet et l'état proprioceptif du robot, le tout en une fraction de seconde. Nous présentons les avantages relatifs de deux stratégies de résolution fondamentalement différentes : (i) le Contrôle Prédictif par Modèle utilisant une optimisation de trajectoire contrainte accélérée, et (ii) l'Apprentissage par Renforcement via une optimisation d'ordre zéro. Nous fournissons des insights sur divers compromis de performance, incluant l'efficacité en termes d'échantillons, le transfert sim-to-real, la robustesse aux décalages de distribution et la multimodalité du corps entier, grâce à des expérimentations matérielles approfondies. Nous concluons avec des propositions sur la fusion des techniques "classiques" et "basées sur l'apprentissage" pour le contrôle agile des robots. Les vidéos de nos expériences sont disponibles à l'adresse suivante : https://sites.google.com/view/agile-catching.

English

We address a benchmark task in agile robotics: catching objects thrown at high-speed. This is a challenging task that involves tracking, intercepting, and cradling a thrown object with access only to visual observations of the object and the proprioceptive state of the robot, all within a fraction of a second. We present the relative merits of two fundamentally different solution strategies: (i) Model Predictive Control using accelerated constrained trajectory optimization, and (ii) Reinforcement Learning using zeroth-order optimization. We provide insights into various performance trade-offs including sample efficiency, sim-to-real transfer, robustness to distribution shifts, and whole-body multimodality via extensive on-hardware experiments. We conclude with proposals on fusing "classical" and "learning-based" techniques for agile robot control. Videos of our experiments may be found at https://sites.google.com/view/agile-catching