Destilando e Recuperando Conhecimento Generalizável para Manipulação Robótica por meio de Correções de Linguagem

Distilling and Retrieving Generalizable Knowledge for Robot Manipulation via Language Corrections

November 17, 2023

Autores: Lihan Zha, Yuchen Cui, Li-Heng Lin, Minae Kwon, Montserrat Gonzalez Arenas, Andy Zeng, Fei Xia, Dorsa Sadigh

cs.AI

Resumo

As políticas de robôs atuais apresentam desempenho insatisfatório quando confrontadas com o desafio de generalizar para novos ambientes. O feedback corretivo humano é uma forma crucial de orientação para permitir tal generalização. No entanto, adaptar-se e aprender com correções humanas online é uma tarefa não trivial: os robôs não apenas precisam lembrar do feedback humano ao longo do tempo para recuperar as informações corretas em novos cenários e reduzir a taxa de intervenção, mas também precisam ser capazes de responder a feedbacks que podem variar desde correções arbitrárias sobre preferências humanas de alto nível até ajustes de baixo nível em parâmetros de habilidades. Neste trabalho, apresentamos o Distillation and Retrieval of Online Corrections (DROC), um sistema baseado em modelos de linguagem de grande escala (LLM) que pode responder a formas arbitrárias de feedback em linguagem natural, destilar conhecimento generalizável a partir de correções e recuperar experiências passadas relevantes com base em similaridade textual e visual para melhorar o desempenho em novos cenários. O DROC é capaz de responder a uma sequência de correções online em linguagem natural que abordam falhas tanto em planos de tarefas de alto nível quanto em primitivas de habilidades de baixo nível. Demonstramos que o DROC destila efetivamente as informações relevantes da sequência de correções online em uma base de conhecimento e recupera esse conhecimento em cenários com novas instâncias de tarefas ou objetos. O DROC supera outras técnicas que geram diretamente código de robô via LLMs, utilizando apenas metade do número total de correções necessárias na primeira rodada e exigindo poucas ou nenhuma correção após duas iterações. Mostramos mais resultados, vídeos, prompts e código em https://sites.google.com/stanford.edu/droc.

English

Today's robot policies exhibit subpar performance when faced with the challenge of generalizing to novel environments. Human corrective feedback is a crucial form of guidance to enable such generalization. However, adapting to and learning from online human corrections is a non-trivial endeavor: not only do robots need to remember human feedback over time to retrieve the right information in new settings and reduce the intervention rate, but also they would need to be able to respond to feedback that can be arbitrary corrections about high-level human preferences to low-level adjustments to skill parameters. In this work, we present Distillation and Retrieval of Online Corrections (DROC), a large language model (LLM)-based system that can respond to arbitrary forms of language feedback, distill generalizable knowledge from corrections, and retrieve relevant past experiences based on textual and visual similarity for improving performance in novel settings. DROC is able to respond to a sequence of online language corrections that address failures in both high-level task plans and low-level skill primitives. We demonstrate that DROC effectively distills the relevant information from the sequence of online corrections in a knowledge base and retrieves that knowledge in settings with new task or object instances. DROC outperforms other techniques that directly generate robot code via LLMs by using only half of the total number of corrections needed in the first round and requires little to no corrections after two iterations. We show further results, videos, prompts and code on https://sites.google.com/stanford.edu/droc .