RACER: Reiche sprachgesteuerte Fehlerwiederherstellungsrichtlinien für Imitationslernen

RACER: Rich Language-Guided Failure Recovery Policies for Imitation Learning

September 23, 2024

Autoren: Yinpei Dai, Jayjun Lee, Nima Fazeli, Joyce Chai

cs.AI

Zusammenfassung

Die Entwicklung robuster und korrigierbarer visuomotorischer Richtlinien für die robotische Manipulation ist aufgrund des Mangels an Selbstwiederherstellungsmechanismen bei Fehlern und der Einschränkungen einfacher Sprachanweisungen zur Steuerung von Roboteraktionen eine Herausforderung. Um diese Probleme anzugehen, schlagen wir eine skalierbare Datenbereitstellungspipeline vor, die Expertendemonstrationen automatisch mit Fehlerwiederherstellungstrajektorien und fein abgestimmten Sprachannotationen für das Training erweitert. Anschließend stellen wir Rich Language-guided Failure Recovery (RACER) vor, ein Supervisor-Aktor-Framework, das Fehlerwiederherstellungsdaten mit detaillierten Sprachbeschreibungen kombiniert, um die Robotersteuerung zu verbessern. RACER umfasst ein Bildsprachmodell (VLM), das als Online-Supervisor fungiert und detaillierte sprachliche Anleitungen für Fehlerkorrekturen und Aufgabenausführung bereitstellt, sowie eine sprachkonditionierte visuomotorische Richtlinie als Akteur zur Vorhersage der nächsten Aktionen. Unsere experimentellen Ergebnisse zeigen, dass RACER den State-of-the-Art Robotic View Transformer (RVT) auf RLbench in verschiedenen Evaluierungseinstellungen übertrifft, einschließlich Standard-Langzeitaufgaben, dynamischer Zieländerungsaufgaben und Null-Schuss ungesehener Aufgaben, und eine überlegene Leistung sowohl in simulierten als auch in realen Umgebungen erzielt. Videos und Code sind verfügbar unter: https://rich-language-failure-recovery.github.io.

English

Developing robust and correctable visuomotor policies for robotic manipulation is challenging due to the lack of self-recovery mechanisms from failures and the limitations of simple language instructions in guiding robot actions. To address these issues, we propose a scalable data generation pipeline that automatically augments expert demonstrations with failure recovery trajectories and fine-grained language annotations for training. We then introduce Rich languAge-guided failure reCovERy (RACER), a supervisor-actor framework, which combines failure recovery data with rich language descriptions to enhance robot control. RACER features a vision-language model (VLM) that acts as an online supervisor, providing detailed language guidance for error correction and task execution, and a language-conditioned visuomotor policy as an actor to predict the next actions. Our experimental results show that RACER outperforms the state-of-the-art Robotic View Transformer (RVT) on RLbench across various evaluation settings, including standard long-horizon tasks, dynamic goal-change tasks and zero-shot unseen tasks, achieving superior performance in both simulated and real world environments. Videos and code are available at: https://rich-language-failure-recovery.github.io.