REFLECT: Resumen de Experiencias Robóticas para la Explicación y Corrección de Fallos
REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction
June 27, 2023
Autores: Zeyi Liu, Arpit Bahety, Shuran Song
cs.AI
Resumen
La capacidad de detectar y analizar automáticamente ejecuciones fallidas es crucial para un sistema robótico explicable y robusto. Recientemente, los Modelos de Lenguaje de Gran Escala (LLMs, por sus siglas en inglés) han demostrado habilidades sólidas de razonamiento de sentido común en entradas textuales. Para aprovechar el poder de los LLMs en la explicación de fallos robóticos, proponemos un marco llamado REFLECT, que convierte datos multisensoriales en un resumen jerárquico de las experiencias pasadas del robot y consulta al LLM mediante un algoritmo progresivo de explicación de fallos. Condicionado por la explicación, un planificador de corrección de fallos genera un plan ejecutable para que el robot corrija el error y complete la tarea. Para evaluar sistemáticamente el marco, creamos el conjunto de datos RoboFail y demostramos que nuestro marco basado en LLMs es capaz de generar explicaciones de fallos informativas que ayudan a la planificación exitosa de correcciones. Sitio web del proyecto: https://roboreflect.github.io/
English
The ability to detect and analyze failed executions automatically is crucial
for an explainable and robust robotic system. Recently, Large Language Models
(LLMs) have demonstrated strong common sense reasoning skills on textual
inputs. To leverage the power of LLM for robot failure explanation, we propose
a framework REFLECT, which converts multi-sensory data into a hierarchical
summary of robot past experiences and queries LLM with a progressive failure
explanation algorithm. Conditioned on the explanation, a failure correction
planner generates an executable plan for the robot to correct the failure and
complete the task. To systematically evaluate the framework, we create the
RoboFail dataset and show that our LLM-based framework is able to generate
informative failure explanations that assist successful correction planning.
Project website: https://roboreflect.github.io/