RACER: Políticas de Recuperación de Fallas Guiadas por Lenguaje Rico para Aprendizaje por Imitación

RACER: Rich Language-Guided Failure Recovery Policies for Imitation Learning

September 23, 2024

Autores: Yinpei Dai, Jayjun Lee, Nima Fazeli, Joyce Chai

cs.AI

Resumen

Desarrollar políticas visuomotoras robustas y corregibles para la manipulación robótica es un desafío debido a la falta de mecanismos de auto-recuperación de fallos y a las limitaciones de instrucciones de lenguaje simples para guiar las acciones del robot. Para abordar estos problemas, proponemos un flujo de generación de datos escalable que automáticamente aumenta las demostraciones de expertos con trayectorias de recuperación de fallos y anotaciones de lenguaje detalladas para el entrenamiento. Luego introducimos Rich languAge-guided failure reCovERy (RACER), un marco supervisor-actor que combina datos de recuperación de fallos con descripciones de lenguaje detalladas para mejorar el control del robot. RACER cuenta con un modelo visión-lenguaje (VLM) que actúa como supervisor en línea, proporcionando orientación de lenguaje detallada para la corrección de errores y la ejecución de tareas, y una política visuomotora condicionada por lenguaje como actor para predecir las próximas acciones. Nuestros resultados experimentales muestran que RACER supera al estado del arte Robotic View Transformer (RVT) en RLbench en varios entornos de evaluación, incluyendo tareas estándar de horizonte largo, tareas dinámicas de cambio de objetivo y tareas no vistas de cero disparos, logrando un rendimiento superior tanto en entornos simulados como en el mundo real. Los videos y el código están disponibles en: https://rich-language-failure-recovery.github.io.

English

Developing robust and correctable visuomotor policies for robotic manipulation is challenging due to the lack of self-recovery mechanisms from failures and the limitations of simple language instructions in guiding robot actions. To address these issues, we propose a scalable data generation pipeline that automatically augments expert demonstrations with failure recovery trajectories and fine-grained language annotations for training. We then introduce Rich languAge-guided failure reCovERy (RACER), a supervisor-actor framework, which combines failure recovery data with rich language descriptions to enhance robot control. RACER features a vision-language model (VLM) that acts as an online supervisor, providing detailed language guidance for error correction and task execution, and a language-conditioned visuomotor policy as an actor to predict the next actions. Our experimental results show that RACER outperforms the state-of-the-art Robotic View Transformer (RVT) on RLbench across various evaluation settings, including standard long-horizon tasks, dynamic goal-change tasks and zero-shot unseen tasks, achieving superior performance in both simulated and real world environments. Videos and code are available at: https://rich-language-failure-recovery.github.io.