Distillazione e Recupero di Conoscenza Generalizzabile per la Manipolazione Robotica tramite Correzioni Linguistiche

Distilling and Retrieving Generalizable Knowledge for Robot Manipulation via Language Corrections

November 17, 2023

Autori: Lihan Zha, Yuchen Cui, Li-Heng Lin, Minae Kwon, Montserrat Gonzalez Arenas, Andy Zeng, Fei Xia, Dorsa Sadigh

cs.AI

Abstract

Le politiche robotiche odierne mostrano prestazioni inferiori quando si tratta di generalizzare in ambienti nuovi. Il feedback correttivo umano rappresenta una forma cruciale di guida per abilitare tale generalizzazione. Tuttavia, adattarsi e apprendere da correzioni umane in tempo reale è un'impresa non banale: non solo i robot devono ricordare il feedback umano nel tempo per recuperare le informazioni corrette in nuovi contesti e ridurre il tasso di intervento, ma devono anche essere in grado di rispondere a feedback che possono variare da correzioni arbitrarie sulle preferenze umane di alto livello a regolazioni di basso livello dei parametri delle abilità. In questo lavoro, presentiamo Distillation and Retrieval of Online Corrections (DROC), un sistema basato su modelli linguistici di grandi dimensioni (LLM) in grado di rispondere a forme arbitrarie di feedback linguistico, distillare conoscenza generalizzabile dalle correzioni e recuperare esperienze passate rilevanti basandosi su similarità testuale e visiva per migliorare le prestazioni in contesti nuovi. DROC è in grado di rispondere a una sequenza di correzioni linguistiche in tempo reale che affrontano errori sia nei piani di alto livello che nei primitivi di abilità di basso livello. Dimostriamo che DROC distilla efficacemente le informazioni rilevanti dalla sequenza di correzioni online in una base di conoscenza e recupera tale conoscenza in contesti con nuove istanze di compiti o oggetti. DROC supera altre tecniche che generano direttamente codice robotico tramite LLM utilizzando solo la metà del numero totale di correzioni necessarie nel primo round e richiede poche o nessuna correzione dopo due iterazioni. Mostriamo ulteriori risultati, video, prompt e codice su https://sites.google.com/stanford.edu/droc.

English

Today's robot policies exhibit subpar performance when faced with the challenge of generalizing to novel environments. Human corrective feedback is a crucial form of guidance to enable such generalization. However, adapting to and learning from online human corrections is a non-trivial endeavor: not only do robots need to remember human feedback over time to retrieve the right information in new settings and reduce the intervention rate, but also they would need to be able to respond to feedback that can be arbitrary corrections about high-level human preferences to low-level adjustments to skill parameters. In this work, we present Distillation and Retrieval of Online Corrections (DROC), a large language model (LLM)-based system that can respond to arbitrary forms of language feedback, distill generalizable knowledge from corrections, and retrieve relevant past experiences based on textual and visual similarity for improving performance in novel settings. DROC is able to respond to a sequence of online language corrections that address failures in both high-level task plans and low-level skill primitives. We demonstrate that DROC effectively distills the relevant information from the sequence of online corrections in a knowledge base and retrieves that knowledge in settings with new task or object instances. DROC outperforms other techniques that directly generate robot code via LLMs by using only half of the total number of corrections needed in the first round and requires little to no corrections after two iterations. We show further results, videos, prompts and code on https://sites.google.com/stanford.edu/droc .