Извлечение и поиск обобщаемых знаний для манипуляции роботов через языковые коррекции

Distilling and Retrieving Generalizable Knowledge for Robot Manipulation via Language Corrections

November 17, 2023

Авторы: Lihan Zha, Yuchen Cui, Li-Heng Lin, Minae Kwon, Montserrat Gonzalez Arenas, Andy Zeng, Fei Xia, Dorsa Sadigh

cs.AI

Аннотация

Современные политики управления роботами демонстрируют низкую производительность при необходимости обобщения в новых средах. Корректирующая обратная связь от человека является важным инструментом для достижения такого обобщения. Однако адаптация и обучение на основе онлайн-коррекций от человека — это нетривиальная задача: роботам необходимо не только запоминать обратную связь с течением времени, чтобы извлекать нужную информацию в новых условиях и снижать частоту вмешательств, но и уметь реагировать на обратную связь, которая может варьироваться от высокоуровневых предпочтений человека до низкоуровневых корректировок параметров навыков. В данной работе мы представляем систему Distillation and Retrieval of Online Corrections (DROC), основанную на больших языковых моделях (LLM), которая способна реагировать на произвольные формы языковой обратной связи, извлекать обобщаемые знания из корректировок и извлекать релевантный прошлый опыт на основе текстового и визуального сходства для улучшения производительности в новых условиях. DROC способна реагировать на последовательность онлайн-коррекций, которые касаются как высокоуровневых планов задач, так и низкоуровневых примитивов навыков. Мы демонстрируем, что DROC эффективно извлекает релевантную информацию из последовательности онлайн-коррекций в базу знаний и использует эти знания в условиях с новыми экземплярами задач или объектов. DROC превосходит другие методы, которые напрямую генерируют код для роботов с помощью LLM, требуя лишь половины общего количества коррекций в первом раунде и практически не нуждаясь в коррекциях после двух итераций. Дополнительные результаты, видео, промпты и код доступны на https://sites.google.com/stanford.edu/droc.

English

Today's robot policies exhibit subpar performance when faced with the challenge of generalizing to novel environments. Human corrective feedback is a crucial form of guidance to enable such generalization. However, adapting to and learning from online human corrections is a non-trivial endeavor: not only do robots need to remember human feedback over time to retrieve the right information in new settings and reduce the intervention rate, but also they would need to be able to respond to feedback that can be arbitrary corrections about high-level human preferences to low-level adjustments to skill parameters. In this work, we present Distillation and Retrieval of Online Corrections (DROC), a large language model (LLM)-based system that can respond to arbitrary forms of language feedback, distill generalizable knowledge from corrections, and retrieve relevant past experiences based on textual and visual similarity for improving performance in novel settings. DROC is able to respond to a sequence of online language corrections that address failures in both high-level task plans and low-level skill primitives. We demonstrate that DROC effectively distills the relevant information from the sequence of online corrections in a knowledge base and retrieves that knowledge in settings with new task or object instances. DROC outperforms other techniques that directly generate robot code via LLMs by using only half of the total number of corrections needed in the first round and requires little to no corrections after two iterations. We show further results, videos, prompts and code on https://sites.google.com/stanford.edu/droc .