REFLECT : Synthétiser les expériences robotiques pour l'explication et la correction des défaillances
REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction
June 27, 2023
Auteurs: Zeyi Liu, Arpit Bahety, Shuran Song
cs.AI
Résumé
La capacité à détecter et analyser automatiquement les exécutions défaillantes est cruciale pour un système robotique explicable et robuste. Récemment, les modèles de langage de grande taille (LLM) ont démontré de solides compétences en raisonnement de bon sens sur des entrées textuelles. Pour exploiter la puissance des LLM dans l'explication des défaillances robotiques, nous proposons un cadre appelé REFLECT, qui convertit des données multi-sensorielles en un résumé hiérarchique des expériences passées du robot et interroge le LLM avec un algorithme progressif d'explication des défaillances. Sur la base de cette explication, un planificateur de correction des défaillances génère un plan exécutable permettant au robot de corriger l'erreur et d'accomplir la tâche. Pour évaluer systématiquement ce cadre, nous créons le jeu de données RoboFail et montrons que notre cadre basé sur les LLM est capable de générer des explications de défaillances informatives qui facilitent la planification réussie des corrections. Site web du projet : https://roboreflect.github.io/
English
The ability to detect and analyze failed executions automatically is crucial
for an explainable and robust robotic system. Recently, Large Language Models
(LLMs) have demonstrated strong common sense reasoning skills on textual
inputs. To leverage the power of LLM for robot failure explanation, we propose
a framework REFLECT, which converts multi-sensory data into a hierarchical
summary of robot past experiences and queries LLM with a progressive failure
explanation algorithm. Conditioned on the explanation, a failure correction
planner generates an executable plan for the robot to correct the failure and
complete the task. To systematically evaluate the framework, we create the
RoboFail dataset and show that our LLM-based framework is able to generate
informative failure explanations that assist successful correction planning.
Project website: https://roboreflect.github.io/