REFLECT: Sintesi delle Esperienze Robotiche per la Spiegazione e Correzione degli Errori
REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction
June 27, 2023
Autori: Zeyi Liu, Arpit Bahety, Shuran Song
cs.AI
Abstract
La capacità di rilevare e analizzare automaticamente le esecuzioni fallite è cruciale per un sistema robotico spiegabile e robusto. Recentemente, i Modelli Linguistici di Grande Dimensione (LLM) hanno dimostrato forti capacità di ragionamento basato sul senso comune su input testuali. Per sfruttare il potere degli LLM per la spiegazione dei fallimenti robotici, proponiamo un framework chiamato REFLECT, che converte dati multi-sensoriali in un riepilogo gerarchico delle esperienze passate del robot e interroga l'LLM con un algoritmo progressivo di spiegazione dei fallimenti. Condizionato dalla spiegazione, un pianificatore di correzione dei fallimenti genera un piano eseguibile per il robot per correggere il fallimento e completare il compito. Per valutare sistematicamente il framework, creiamo il dataset RoboFail e dimostriamo che il nostro framework basato su LLM è in grado di generare spiegazioni informative sui fallimenti che assistono la pianificazione corretta con successo. Sito web del progetto: https://roboreflect.github.io/
English
The ability to detect and analyze failed executions automatically is crucial
for an explainable and robust robotic system. Recently, Large Language Models
(LLMs) have demonstrated strong common sense reasoning skills on textual
inputs. To leverage the power of LLM for robot failure explanation, we propose
a framework REFLECT, which converts multi-sensory data into a hierarchical
summary of robot past experiences and queries LLM with a progressive failure
explanation algorithm. Conditioned on the explanation, a failure correction
planner generates an executable plan for the robot to correct the failure and
complete the task. To systematically evaluate the framework, we create the
RoboFail dataset and show that our LLM-based framework is able to generate
informative failure explanations that assist successful correction planning.
Project website: https://roboreflect.github.io/