RACER: Políticas de Recuperação de Falhas Guiadas por Linguagem Rica para Aprendizado por Imitação

RACER: Rich Language-Guided Failure Recovery Policies for Imitation Learning

September 23, 2024

Autores: Yinpei Dai, Jayjun Lee, Nima Fazeli, Joyce Chai

cs.AI

Resumo

Desenvolver políticas visuomotoras robustas e corrigíveis para manipulação robótica é desafiador devido à falta de mecanismos de auto-recuperação de falhas e às limitações de instruções em linguagem simples para guiar as ações do robô. Para lidar com essas questões, propomos um pipeline escalável de geração de dados que automaticamente aumenta demonstrações de especialistas com trajetórias de recuperação de falhas e anotações em linguagem detalhada para treinamento. Em seguida, introduzimos o Rich languAge-guided failure reCovERy (RACER), um framework supervisor-ator, que combina dados de recuperação de falhas com descrições em linguagem detalhada para aprimorar o controle do robô. O RACER apresenta um modelo visão-linguagem (VLM) que atua como supervisor online, fornecendo orientações linguísticas detalhadas para correção de erros e execução de tarefas, e uma política visuomotora condicionada à linguagem como ator para prever as próximas ações. Nossos resultados experimentais mostram que o RACER supera o estado-da-arte Robotic View Transformer (RVT) no RLbench em várias configurações de avaliação, incluindo tarefas padrão de longo horizonte, tarefas dinâmicas de mudança de objetivo e tarefas não vistas de zero-shot, alcançando desempenho superior em ambientes simulados e do mundo real. Vídeos e código estão disponíveis em: https://rich-language-failure-recovery.github.io.

English

Developing robust and correctable visuomotor policies for robotic manipulation is challenging due to the lack of self-recovery mechanisms from failures and the limitations of simple language instructions in guiding robot actions. To address these issues, we propose a scalable data generation pipeline that automatically augments expert demonstrations with failure recovery trajectories and fine-grained language annotations for training. We then introduce Rich languAge-guided failure reCovERy (RACER), a supervisor-actor framework, which combines failure recovery data with rich language descriptions to enhance robot control. RACER features a vision-language model (VLM) that acts as an online supervisor, providing detailed language guidance for error correction and task execution, and a language-conditioned visuomotor policy as an actor to predict the next actions. Our experimental results show that RACER outperforms the state-of-the-art Robotic View Transformer (RVT) on RLbench across various evaluation settings, including standard long-horizon tasks, dynamic goal-change tasks and zero-shot unseen tasks, achieving superior performance in both simulated and real world environments. Videos and code are available at: https://rich-language-failure-recovery.github.io.