Destilación y Recuperación de Conocimiento Generalizable para la Manipulación Robótica a través de Correcciones Lingüísticas

Distilling and Retrieving Generalizable Knowledge for Robot Manipulation via Language Corrections

November 17, 2023

Autores: Lihan Zha, Yuchen Cui, Li-Heng Lin, Minae Kwon, Montserrat Gonzalez Arenas, Andy Zeng, Fei Xia, Dorsa Sadigh

cs.AI

Resumen

Las políticas de los robots actuales muestran un rendimiento deficiente cuando se enfrentan al desafío de generalizar a entornos novedosos. La retroalimentación correctiva humana es una forma crucial de orientación para permitir dicha generalización. Sin embargo, adaptarse y aprender de correcciones humanas en línea es una tarea no trivial: no solo los robots necesitan recordar la retroalimentación humana a lo largo del tiempo para recuperar la información correcta en nuevos entornos y reducir la tasa de intervención, sino que también necesitarían ser capaces de responder a retroalimentaciones que pueden ser correcciones arbitrarias, desde preferencias humanas de alto nivel hasta ajustes de bajo nivel en los parámetros de las habilidades. En este trabajo, presentamos Distillation and Retrieval of Online Corrections (DROC), un sistema basado en modelos de lenguaje de gran escala (LLM) que puede responder a formas arbitrarias de retroalimentación en lenguaje natural, destilar conocimiento generalizable a partir de correcciones y recuperar experiencias pasadas relevantes basadas en similitudes textuales y visuales para mejorar el rendimiento en entornos novedosos. DROC es capaz de responder a una secuencia de correcciones en línea que abordan fallas tanto en planes de tareas de alto nivel como en primitivas de habilidades de bajo nivel. Demostramos que DROC destila efectivamente la información relevante de la secuencia de correcciones en línea en una base de conocimiento y recupera ese conocimiento en entornos con nuevas instancias de tareas u objetos. DROC supera a otras técnicas que generan directamente código de robot mediante LLM al utilizar solo la mitad del número total de correcciones necesarias en la primera ronda y requiere pocas o ninguna corrección después de dos iteraciones. Mostramos más resultados, videos, indicaciones y código en https://sites.google.com/stanford.edu/droc.

English

Today's robot policies exhibit subpar performance when faced with the challenge of generalizing to novel environments. Human corrective feedback is a crucial form of guidance to enable such generalization. However, adapting to and learning from online human corrections is a non-trivial endeavor: not only do robots need to remember human feedback over time to retrieve the right information in new settings and reduce the intervention rate, but also they would need to be able to respond to feedback that can be arbitrary corrections about high-level human preferences to low-level adjustments to skill parameters. In this work, we present Distillation and Retrieval of Online Corrections (DROC), a large language model (LLM)-based system that can respond to arbitrary forms of language feedback, distill generalizable knowledge from corrections, and retrieve relevant past experiences based on textual and visual similarity for improving performance in novel settings. DROC is able to respond to a sequence of online language corrections that address failures in both high-level task plans and low-level skill primitives. We demonstrate that DROC effectively distills the relevant information from the sequence of online corrections in a knowledge base and retrieves that knowledge in settings with new task or object instances. DROC outperforms other techniques that directly generate robot code via LLMs by using only half of the total number of corrections needed in the first round and requires little to no corrections after two iterations. We show further results, videos, prompts and code on https://sites.google.com/stanford.edu/droc .