Distilleren en ophalen van generaliseerbare kennis voor robotmanipulatie via taalcorrecties

Distilling and Retrieving Generalizable Knowledge for Robot Manipulation via Language Corrections

November 17, 2023

Auteurs: Lihan Zha, Yuchen Cui, Li-Heng Lin, Minae Kwon, Montserrat Gonzalez Arenas, Andy Zeng, Fei Xia, Dorsa Sadigh

cs.AI

Samenvatting

Het huidige robotbeleid vertoont ondermaats presteren wanneer het wordt geconfronteerd met de uitdaging om te generaliseren naar nieuwe omgevingen. Menselijke corrigerende feedback is een cruciale vorm van begeleiding om dergelijke generalisatie mogelijk te maken. Het aanpassen aan en leren van online menselijke correcties is echter geen eenvoudige opgave: robots moeten niet alleen menselijke feedback over tijd onthouden om de juiste informatie in nieuwe situaties op te halen en het interventiepercentage te verlagen, maar ze moeten ook in staat zijn om te reageren op feedback die willekeurige correcties kan zijn, variërend van hoogwaardige menselijke voorkeuren tot laagwaardige aanpassingen aan vaardigheidsparameters. In dit werk presenteren we Distillation and Retrieval of Online Corrections (DROC), een systeem gebaseerd op grote taalmodellen (LLM) dat kan reageren op willekeurige vormen van taalgerichte feedback, generaliseerbare kennis kan destilleren uit correcties, en relevante eerdere ervaringen kan ophalen op basis van tekstuele en visuele gelijkenis om de prestaties in nieuwe situaties te verbeteren. DROC is in staat om te reageren op een reeks online taalcorrecties die fouten aanpakken in zowel hoogwaardige taakplannen als laagwaardige vaardigheidsprimitieven. We demonstreren dat DROC effectief de relevante informatie destilleert uit de reeks online correcties in een kennisbank en die kennis ophaalt in situaties met nieuwe taak- of objectinstanties. DROC overtreft andere technieken die direct robotcode genereren via LLM's door slechts de helft van het totale aantal benodigde correcties in de eerste ronde te gebruiken en vereist weinig tot geen correcties na twee iteraties. We tonen verdere resultaten, video's, prompts en code op https://sites.google.com/stanford.edu/droc.

English

Today's robot policies exhibit subpar performance when faced with the challenge of generalizing to novel environments. Human corrective feedback is a crucial form of guidance to enable such generalization. However, adapting to and learning from online human corrections is a non-trivial endeavor: not only do robots need to remember human feedback over time to retrieve the right information in new settings and reduce the intervention rate, but also they would need to be able to respond to feedback that can be arbitrary corrections about high-level human preferences to low-level adjustments to skill parameters. In this work, we present Distillation and Retrieval of Online Corrections (DROC), a large language model (LLM)-based system that can respond to arbitrary forms of language feedback, distill generalizable knowledge from corrections, and retrieve relevant past experiences based on textual and visual similarity for improving performance in novel settings. DROC is able to respond to a sequence of online language corrections that address failures in both high-level task plans and low-level skill primitives. We demonstrate that DROC effectively distills the relevant information from the sequence of online corrections in a knowledge base and retrieves that knowledge in settings with new task or object instances. DROC outperforms other techniques that directly generate robot code via LLMs by using only half of the total number of corrections needed in the first round and requires little to no corrections after two iterations. We show further results, videos, prompts and code on https://sites.google.com/stanford.edu/droc .