REFLECT: Zusammenfassung von Robotererfahrungen zur Fehlererklärung und Korrektur
REFLECT: Summarizing Robot Experiences for Failure Explanation and Correction
June 27, 2023
Autoren: Zeyi Liu, Arpit Bahety, Shuran Song
cs.AI
Zusammenfassung
Die Fähigkeit, fehlgeschlagene Ausführungen automatisch zu erkennen und zu analysieren, ist entscheidend für ein erklärbares und robustes Robotersystem. Kürzlich haben Large Language Models (LLMs) starke Fähigkeiten im Bereich des gesunden Menschenverstands bei der Verarbeitung von Texteingaben gezeigt. Um die Leistungsfähigkeit von LLMs für die Erklärung von Roboterfehlern zu nutzen, schlagen wir das Framework REFLECT vor, das multisensorische Daten in eine hierarchische Zusammenfassung vergangener Robotererfahrungen umwandelt und LLMs mit einem progressiven Algorithmus zur Fehlererklärung abfragt. Basierend auf der Erklärung generiert ein Fehlerkorrekturplaner einen ausführbaren Plan, damit der Roboter den Fehler beheben und die Aufgabe abschließen kann. Um das Framework systematisch zu evaluieren, erstellen wir den RoboFail-Datensatz und zeigen, dass unser LLM-basiertes Framework in der Lage ist, informative Fehlererklärungen zu generieren, die eine erfolgreiche Korrekturplanung unterstützen. Projektwebsite: https://roboreflect.github.io/
English
The ability to detect and analyze failed executions automatically is crucial
for an explainable and robust robotic system. Recently, Large Language Models
(LLMs) have demonstrated strong common sense reasoning skills on textual
inputs. To leverage the power of LLM for robot failure explanation, we propose
a framework REFLECT, which converts multi-sensory data into a hierarchical
summary of robot past experiences and queries LLM with a progressive failure
explanation algorithm. Conditioned on the explanation, a failure correction
planner generates an executable plan for the robot to correct the failure and
complete the task. To systematically evaluate the framework, we create the
RoboFail dataset and show that our LLM-based framework is able to generate
informative failure explanations that assist successful correction planning.
Project website: https://roboreflect.github.io/