Captura Ágil com MPC de Corpo Inteiro e Aprendizado de Política Blackbox

Agile Catching with Whole-Body MPC and Blackbox Policy Learning

June 14, 2023

Autores: Saminda Abeyruwan, Alex Bewley, Nicholas M. Boffi, Krzysztof Choromanski, David D'Ambrosio, Deepali Jain, Pannag Sanketi, Anish Shankar, Vikas Sindhwani, Sumeet Singh, Jean-Jacques Slotine, Stephen Tu

cs.AI

Resumo

Abordamos uma tarefa de referência em robótica ágil: capturar objetos lançados em alta velocidade. Esta é uma tarefa desafiadora que envolve rastrear, interceptar e acomodar um objeto lançado, com acesso apenas a observações visuais do objeto e ao estado proprioceptivo do robô, tudo isso em uma fração de segundo. Apresentamos os méritos relativos de duas estratégias de solução fundamentalmente diferentes: (i) Controle Preditivo de Modelo usando otimização de trajetória com restrições acelerada, e (ii) Aprendizado por Reforço usando otimização de ordem zero. Fornecemos insights sobre várias compensações de desempenho, incluindo eficiência de amostragem, transferência de simulação para o mundo real, robustez a mudanças de distribuição e multimodalidade de corpo inteiro, por meio de extensos experimentos em hardware. Concluímos com propostas sobre a fusão de técnicas "clássicas" e "baseadas em aprendizado" para o controle ágil de robôs. Vídeos de nossos experimentos podem ser encontrados em https://sites.google.com/view/agile-catching.

English

We address a benchmark task in agile robotics: catching objects thrown at high-speed. This is a challenging task that involves tracking, intercepting, and cradling a thrown object with access only to visual observations of the object and the proprioceptive state of the robot, all within a fraction of a second. We present the relative merits of two fundamentally different solution strategies: (i) Model Predictive Control using accelerated constrained trajectory optimization, and (ii) Reinforcement Learning using zeroth-order optimization. We provide insights into various performance trade-offs including sample efficiency, sim-to-real transfer, robustness to distribution shifts, and whole-body multimodality via extensive on-hardware experiments. We conclude with proposals on fusing "classical" and "learning-based" techniques for agile robot control. Videos of our experiments may be found at https://sites.google.com/view/agile-catching