REFLECT: Resumindo Experiências de Robôs para Explicação e Correção de Falhas
REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction
June 27, 2023
Autores: Zeyi Liu, Arpit Bahety, Shuran Song
cs.AI
Resumo
A capacidade de detectar e analisar automaticamente execuções falhas é crucial para um sistema robótico explicável e robusto. Recentemente, Modelos de Linguagem de Grande Escala (LLMs) demonstraram habilidades avançadas de raciocínio de senso comum em entradas textuais. Para aproveitar o poder dos LLMs na explicação de falhas robóticas, propomos um framework chamado REFLECT, que converte dados multi-sensoriais em um resumo hierárquico das experiências passadas do robô e consulta o LLM com um algoritmo progressivo de explicação de falhas. Condicionado à explicação, um planejador de correção de falhas gera um plano executável para o robô corrigir a falha e concluir a tarefa. Para avaliar sistematicamente o framework, criamos o conjunto de dados RoboFail e mostramos que nosso framework baseado em LLM é capaz de gerar explicações de falhas informativas que auxiliam no planejamento bem-sucedido da correção. Site do projeto: https://roboreflect.github.io/
English
The ability to detect and analyze failed executions automatically is crucial
for an explainable and robust robotic system. Recently, Large Language Models
(LLMs) have demonstrated strong common sense reasoning skills on textual
inputs. To leverage the power of LLM for robot failure explanation, we propose
a framework REFLECT, which converts multi-sensory data into a hierarchical
summary of robot past experiences and queries LLM with a progressive failure
explanation algorithm. Conditioned on the explanation, a failure correction
planner generates an executable plan for the robot to correct the failure and
complete the task. To systematically evaluate the framework, we create the
RoboFail dataset and show that our LLM-based framework is able to generate
informative failure explanations that assist successful correction planning.
Project website: https://roboreflect.github.io/