SAFE: Multitask-Fehlererkennung für Vision-Sprache-Aktion-Modelle

Zusammenfassung

Während Vision-Language-Action-Modelle (VLAs) vielversprechende robotische Verhaltensweisen über eine Vielzahl von Manipulationsaufgaben hinweg gezeigt haben, erzielen sie begrenzte Erfolgsraten, wenn sie ohne Anpassungen auf neuen Aufgaben eingesetzt werden. Um diesen Richtlinien eine sichere Interaktion mit ihrer Umgebung zu ermöglichen, benötigen wir einen Fehlerdetektor, der rechtzeitig eine Warnung gibt, sodass der Roboter anhalten, zurückkehren oder um Hilfe bitten kann. Bisherige Fehlerdetektoren werden jedoch nur für eine oder wenige spezifische Aufgaben trainiert und getestet, während VLAs erfordern, dass der Detektor auch bei unbekannten Aufgaben und neuen Umgebungen generalisiert und Fehler erkennt. In diesem Artikel führen wir das Problem der Multitask-Fehlererkennung ein und schlagen SAFE vor, einen Fehlerdetektor für generalistische Roboterrichtlinien wie VLAs. Wir analysieren den Merkmalsraum von VLAs und stellen fest, dass VLAs über ausreichendes hochrangiges Wissen über Aufgaben-Erfolg und -Fehler verfügen, das über verschiedene Aufgaben hinweg generisch ist. Basierend auf dieser Erkenntnis entwerfen wir SAFE, um aus internen Merkmalen von VLAs zu lernen und einen einzelnen Skalar vorherzusagen, der die Wahrscheinlichkeit eines Aufgabenfehlers angibt. SAFE wird sowohl auf erfolgreichen als auch fehlgeschlagenen Durchläufen trainiert und auf unbekannten Aufgaben evaluiert. SAFE ist mit verschiedenen Richtlinienarchitekturen kompatibel. Wir testen es ausführlich auf OpenVLA, pi_0 und pi_0-FAST in simulierten und realen Umgebungen. Wir vergleichen SAFE mit verschiedenen Baselines und zeigen, dass SAFE eine state-of-the-art Fehlererkennungsleistung und den besten Kompromiss zwischen Genauigkeit und Erkennungszeit mittels konformer Vorhersage erreicht. Weitere qualitative Ergebnisse finden Sie unter https://vla-safe.github.io/.

English

While vision-language-action models (VLAs) have shown promising robotic behaviors across a diverse set of manipulation tasks, they achieve limited success rates when deployed on novel tasks out-of-the-box. To allow these policies to safely interact with their environments, we need a failure detector that gives a timely alert such that the robot can stop, backtrack, or ask for help. However, existing failure detectors are trained and tested only on one or a few specific tasks, while VLAs require the detector to generalize and detect failures also in unseen tasks and novel environments. In this paper, we introduce the multitask failure detection problem and propose SAFE, a failure detector for generalist robot policies such as VLAs. We analyze the VLA feature space and find that VLAs have sufficient high-level knowledge about task success and failure, which is generic across different tasks. Based on this insight, we design SAFE to learn from VLA internal features and predict a single scalar indicating the likelihood of task failure. SAFE is trained on both successful and failed rollouts, and is evaluated on unseen tasks. SAFE is compatible with different policy architectures. We test it on OpenVLA, pi_0, and pi_0-FAST in both simulated and real-world environments extensively. We compare SAFE with diverse baselines and show that SAFE achieves state-of-the-art failure detection performance and the best trade-off between accuracy and detection time using conformal prediction. More qualitative results can be found at https://vla-safe.github.io/.

SAFE: Multitask-Fehlererkennung für Vision-Sprache-Aktion-Modelle

SAFE: Multitask Failure Detection for Vision-Language-Action Models

Zusammenfassung

Support