REFLECT: Samenvatten van Robotervaringen voor Foutverklaring en Correctie
REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction
June 27, 2023
Auteurs: Zeyi Liu, Arpit Bahety, Shuran Song
cs.AI
Samenvatting
Het vermogen om mislukte uitvoeringen automatisch te detecteren en analyseren is cruciaal voor een verklaarbaar en robuust robotsysteem. Recentelijk hebben Large Language Models (LLM's) sterke vaardigheden op het gebied van gezond verstand bij tekstuele invoer getoond. Om de kracht van LLM's te benutten voor het verklaren van robotfouten, stellen we een framework genaamd REFLECT voor, dat multi-sensorische data omzet in een hiërarchische samenvatting van eerdere ervaringen van de robot en LLM's bevraagt met een progressief algoritme voor foutverklaring. Op basis van de verklaring genereert een planner voor foutcorrectie een uitvoerbaar plan voor de robot om de fout te corrigeren en de taak te voltooien. Om het framework systematisch te evalueren, hebben we de RoboFail-dataset gecreëerd en laten we zien dat ons op LLM gebaseerde framework in staat is informatieve foutverklaringen te genereren die helpen bij succesvolle correctieplanning. Projectwebsite: https://roboreflect.github.io/
English
The ability to detect and analyze failed executions automatically is crucial
for an explainable and robust robotic system. Recently, Large Language Models
(LLMs) have demonstrated strong common sense reasoning skills on textual
inputs. To leverage the power of LLM for robot failure explanation, we propose
a framework REFLECT, which converts multi-sensory data into a hierarchical
summary of robot past experiences and queries LLM with a progressive failure
explanation algorithm. Conditioned on the explanation, a failure correction
planner generates an executable plan for the robot to correct the failure and
complete the task. To systematically evaluate the framework, we create the
RoboFail dataset and show that our LLM-based framework is able to generate
informative failure explanations that assist successful correction planning.
Project website: https://roboreflect.github.io/