Distillation et récupération de connaissances généralisables pour la manipulation robotique via des corrections linguistiques

Distilling and Retrieving Generalizable Knowledge for Robot Manipulation via Language Corrections

November 17, 2023

Auteurs: Lihan Zha, Yuchen Cui, Li-Heng Lin, Minae Kwon, Montserrat Gonzalez Arenas, Andy Zeng, Fei Xia, Dorsa Sadigh

cs.AI

Résumé

Les politiques robotiques actuelles présentent des performances médiocres lorsqu'il s'agit de généraliser à des environnements nouveaux. Les retours correctifs humains constituent une forme de guidance cruciale pour permettre une telle généralisation. Cependant, s'adapter et apprendre à partir de corrections humaines en ligne est une entreprise non triviale : non seulement les robots doivent mémoriser les retours humains au fil du temps pour récupérer les bonnes informations dans de nouveaux contextes et réduire le taux d'intervention, mais ils doivent également être capables de répondre à des retours qui peuvent aller de corrections arbitraires concernant des préférences humaines de haut niveau à des ajustements de bas niveau des paramètres de compétences. Dans ce travail, nous présentons Distillation and Retrieval of Online Corrections (DROC), un système basé sur un modèle de langage de grande taille (LLM) capable de répondre à des formes arbitraires de retours langagiers, de distiller des connaissances généralisables à partir de corrections, et de récupérer des expériences passées pertinentes en se basant sur des similarités textuelles et visuelles pour améliorer les performances dans des contextes nouveaux. DROC est capable de répondre à une séquence de corrections langagières en ligne qui traitent des échecs à la fois dans les plans de tâches de haut niveau et dans les primitives de compétences de bas niveau. Nous démontrons que DROC distille efficacement les informations pertinentes à partir de la séquence de corrections en ligne dans une base de connaissances et récupère ces connaissances dans des contextes impliquant de nouvelles instances de tâches ou d'objets. DROC surpasse d'autres techniques qui génèrent directement du code robotique via des LLM en utilisant seulement la moitié du nombre total de corrections nécessaires lors du premier tour et nécessite peu ou pas de corrections après deux itérations. Nous présentons des résultats supplémentaires, des vidéos, des prompts et du code sur https://sites.google.com/stanford.edu/droc.

English

Today's robot policies exhibit subpar performance when faced with the challenge of generalizing to novel environments. Human corrective feedback is a crucial form of guidance to enable such generalization. However, adapting to and learning from online human corrections is a non-trivial endeavor: not only do robots need to remember human feedback over time to retrieve the right information in new settings and reduce the intervention rate, but also they would need to be able to respond to feedback that can be arbitrary corrections about high-level human preferences to low-level adjustments to skill parameters. In this work, we present Distillation and Retrieval of Online Corrections (DROC), a large language model (LLM)-based system that can respond to arbitrary forms of language feedback, distill generalizable knowledge from corrections, and retrieve relevant past experiences based on textual and visual similarity for improving performance in novel settings. DROC is able to respond to a sequence of online language corrections that address failures in both high-level task plans and low-level skill primitives. We demonstrate that DROC effectively distills the relevant information from the sequence of online corrections in a knowledge base and retrieves that knowledge in settings with new task or object instances. DROC outperforms other techniques that directly generate robot code via LLMs by using only half of the total number of corrections needed in the first round and requires little to no corrections after two iterations. We show further results, videos, prompts and code on https://sites.google.com/stanford.edu/droc .