RACER: Rijke Taalgestuurde Herstelbeleidsregels voor Imitatie Leren

RACER: Rich Language-Guided Failure Recovery Policies for Imitation Learning

September 23, 2024

Auteurs: Yinpei Dai, Jayjun Lee, Nima Fazeli, Joyce Chai

cs.AI

Samenvatting

Het ontwikkelen van robuuste en corrigeerbare visuomotorbeleidslijnen voor robotmanipulatie is uitdagend vanwege het ontbreken van zelfherstelmechanismen bij storingen en de beperkingen van eenvoudige taalinstructies om robotacties te begeleiden. Om deze problemen aan te pakken, stellen we een schaalbare gegevensgeneratiepijplijn voor die automatisch expertdemonstraties aanvult met hersteltrajecten bij storingen en gedetailleerde taalaantekeningen voor training. Vervolgens introduceren we Rich Language-guided Failure Recovery (RACER), een toezichthouder-acteurframework, dat storingherstelgegevens combineert met rijke taalbeschrijvingen om robotbesturing te verbeteren. RACER bevat een visie-taalmodel (VLM) dat fungeert als een online toezichthouder, gedetailleerde taalbegeleiding biedt voor foutcorrectie en taakuitvoering, en een taal-afhankelijk visuomotorbeleid als een acteur om de volgende acties te voorspellen. Onze experimentele resultaten tonen aan dat RACER beter presteert dan de state-of-the-art Robotic View Transformer (RVT) op RLbench in verschillende evaluatie-instellingen, waaronder standaard langetermijntaken, dynamische doelveranderingstaken en zero-shot ongeziene taken, waarbij superieure prestaties worden behaald in zowel gesimuleerde als echte omgevingen. Video's en code zijn beschikbaar op: https://rich-language-failure-recovery.github.io.

English

Developing robust and correctable visuomotor policies for robotic manipulation is challenging due to the lack of self-recovery mechanisms from failures and the limitations of simple language instructions in guiding robot actions. To address these issues, we propose a scalable data generation pipeline that automatically augments expert demonstrations with failure recovery trajectories and fine-grained language annotations for training. We then introduce Rich languAge-guided failure reCovERy (RACER), a supervisor-actor framework, which combines failure recovery data with rich language descriptions to enhance robot control. RACER features a vision-language model (VLM) that acts as an online supervisor, providing detailed language guidance for error correction and task execution, and a language-conditioned visuomotor policy as an actor to predict the next actions. Our experimental results show that RACER outperforms the state-of-the-art Robotic View Transformer (RVT) on RLbench across various evaluation settings, including standard long-horizon tasks, dynamic goal-change tasks and zero-shot unseen tasks, achieving superior performance in both simulated and real world environments. Videos and code are available at: https://rich-language-failure-recovery.github.io.