Destillieren und Abrufen von generalisierbarem Wissen für die Roboter-Manipulation durch Sprachkorrekturen

Distilling and Retrieving Generalizable Knowledge for Robot Manipulation via Language Corrections

November 17, 2023

Autoren: Lihan Zha, Yuchen Cui, Li-Heng Lin, Minae Kwon, Montserrat Gonzalez Arenas, Andy Zeng, Fei Xia, Dorsa Sadigh

cs.AI

Zusammenfassung

Die heutigen Roboterrichtlinien zeigen eine unterdurchschnittliche Leistung, wenn es darum geht, sich auf neue Umgebungen zu verallgemeinern. Menschliches Korrekturfeedback ist eine entscheidende Form der Anleitung, um eine solche Verallgemeinerung zu ermöglichen. Die Anpassung an und das Lernen aus online bereitgestellten menschlichen Korrekturen ist jedoch keine triviale Aufgabe: Roboter müssen nicht nur menschliches Feedback über die Zeit hinweg speichern, um in neuen Situationen die richtigen Informationen abrufen und die Interventionsrate reduzieren zu können, sondern sie müssen auch in der Lage sein, auf Feedback zu reagieren, das von willkürlichen Korrekturen zu hochrangigen menschlichen Präferenzen bis hin zu feinjustierten Anpassungen von Fähigkeitsparametern reichen kann. In dieser Arbeit präsentieren wir Distillation and Retrieval of Online Corrections (DROC), ein auf großen Sprachmodellen (LLMs) basierendes System, das auf beliebige Formen von Sprachfeedback reagieren, verallgemeinerbares Wissen aus Korrekturen destillieren und relevante vergangene Erfahrungen basierend auf textueller und visueller Ähnlichkeit abrufen kann, um die Leistung in neuen Umgebungen zu verbessern. DROC ist in der Lage, auf eine Sequenz von online bereitgestellten Sprachkorrekturen zu reagieren, die sowohl Fehler in hochrangigen Aufgabenplänen als auch in grundlegenden Fähigkeitsprimitive adressieren. Wir demonstrieren, dass DROC effektiv die relevanten Informationen aus der Sequenz von online Korrekturen in einer Wissensbasis destilliert und dieses Wissen in Umgebungen mit neuen Aufgaben- oder Objektinstanzen abruft. DROC übertrifft andere Techniken, die direkt Roboter-Code über LLMs generieren, indem es nur die Hälfte der insgesamt benötigten Korrekturen in der ersten Runde verwendet und nach zwei Iterationen kaum bis gar keine Korrekturen mehr benötigt. Weitere Ergebnisse, Videos, Prompts und Code finden Sie unter https://sites.google.com/stanford.edu/droc.

English

Today's robot policies exhibit subpar performance when faced with the challenge of generalizing to novel environments. Human corrective feedback is a crucial form of guidance to enable such generalization. However, adapting to and learning from online human corrections is a non-trivial endeavor: not only do robots need to remember human feedback over time to retrieve the right information in new settings and reduce the intervention rate, but also they would need to be able to respond to feedback that can be arbitrary corrections about high-level human preferences to low-level adjustments to skill parameters. In this work, we present Distillation and Retrieval of Online Corrections (DROC), a large language model (LLM)-based system that can respond to arbitrary forms of language feedback, distill generalizable knowledge from corrections, and retrieve relevant past experiences based on textual and visual similarity for improving performance in novel settings. DROC is able to respond to a sequence of online language corrections that address failures in both high-level task plans and low-level skill primitives. We demonstrate that DROC effectively distills the relevant information from the sequence of online corrections in a knowledge base and retrieves that knowledge in settings with new task or object instances. DROC outperforms other techniques that directly generate robot code via LLMs by using only half of the total number of corrections needed in the first round and requires little to no corrections after two iterations. We show further results, videos, prompts and code on https://sites.google.com/stanford.edu/droc .