RACER : Politiques de récupération d'échec guidées par un langage riche pour l'apprentissage par imitation

RACER: Rich Language-Guided Failure Recovery Policies for Imitation Learning

September 23, 2024

Auteurs: Yinpei Dai, Jayjun Lee, Nima Fazeli, Joyce Chai

cs.AI

Résumé

Le développement de politiques visuomotrices robustes et corrigibles pour la manipulation robotique est un défi en raison du manque de mécanismes d'auto-récupération des échecs et des limitations des instructions simples en langage pour guider les actions du robot. Pour résoudre ces problèmes, nous proposons un pipeline de génération de données évolutif qui augmente automatiquement les démonstrations d'experts avec des trajectoires de récupération d'échec et des annotations de langage détaillées pour l'entraînement. Nous introduisons ensuite RACER (Rich languAge-guided failure reCovERy), un cadre superviseur-acteur qui combine les données de récupération d'échec avec des descriptions de langage riches pour améliorer le contrôle du robot. RACER comprend un modèle vision-langage (VLM) agissant comme superviseur en ligne, fournissant des orientations linguistiques détaillées pour la correction des erreurs et l'exécution des tâches, ainsi qu'une politique visuomotrice conditionnée par le langage en tant qu'acteur pour prédire les prochaines actions. Nos résultats expérimentaux montrent que RACER surpasse le Robotic View Transformer (RVT) de pointe sur RLbench dans divers contextes d'évaluation, y compris des tâches standard à longue horizon, des tâches de changement dynamique d'objectif et des tâches inédites en zéro-shot, atteignant des performances supérieures dans des environnements simulés et réels. Des vidéos et du code sont disponibles sur : https://rich-language-failure-recovery.github.io.

English

Developing robust and correctable visuomotor policies for robotic manipulation is challenging due to the lack of self-recovery mechanisms from failures and the limitations of simple language instructions in guiding robot actions. To address these issues, we propose a scalable data generation pipeline that automatically augments expert demonstrations with failure recovery trajectories and fine-grained language annotations for training. We then introduce Rich languAge-guided failure reCovERy (RACER), a supervisor-actor framework, which combines failure recovery data with rich language descriptions to enhance robot control. RACER features a vision-language model (VLM) that acts as an online supervisor, providing detailed language guidance for error correction and task execution, and a language-conditioned visuomotor policy as an actor to predict the next actions. Our experimental results show that RACER outperforms the state-of-the-art Robotic View Transformer (RVT) on RLbench across various evaluation settings, including standard long-horizon tasks, dynamic goal-change tasks and zero-shot unseen tasks, achieving superior performance in both simulated and real world environments. Videos and code are available at: https://rich-language-failure-recovery.github.io.