SAFE: Multitask Foutdetectie voor Vision-Language-Action Modellen

Samenvatting

Hoewel vision-language-action modellen (VLA's) veelbelovend robotgedrag hebben getoond bij een diverse set van manipulatietaken, behalen ze beperkte succespercentages wanneer ze out-of-the-box worden ingezet voor nieuwe taken. Om ervoor te zorgen dat deze beleidsregels veilig kunnen interageren met hun omgeving, hebben we een foutdetector nodig die tijdig een waarschuwing geeft, zodat de robot kan stoppen, terugkeren of om hulp kan vragen. Bestaande foutdetectoren worden echter alleen getraind en getest op één of enkele specifieke taken, terwijl VLA's vereisen dat de detector generaliseert en ook fouten detecteert in onbekende taken en nieuwe omgevingen. In dit artikel introduceren we het probleem van multitask-foutdetectie en stellen we SAFE voor, een foutdetector voor generalistische robotbeleidsregels zoals VLA's. We analyseren de VLA-featureruimte en ontdekken dat VLA's voldoende hoogwaardige kennis hebben over taaksucces en -falen, wat generiek is voor verschillende taken. Op basis van dit inzicht ontwerpen we SAFE om te leren van interne VLA-features en een enkele scalar te voorspellen die de waarschijnlijkheid van taakfalen aangeeft. SAFE wordt getraind op zowel geslaagde als mislukte rollouts en wordt geëvalueerd op onbekende taken. SAFE is compatibel met verschillende beleidsarchitecturen. We testen het uitgebreid op OpenVLA, pi_0 en pi_0-FAST in zowel gesimuleerde als real-world omgevingen. We vergelijken SAFE met diverse baselines en tonen aan dat SAFE state-of-the-art foutdetectieprestaties behaalt en de beste balans tussen nauwkeurigheid en detectietijd biedt door gebruik te maken van conformal prediction. Meer kwalitatieve resultaten zijn te vinden op https://vla-safe.github.io/.

English

While vision-language-action models (VLAs) have shown promising robotic behaviors across a diverse set of manipulation tasks, they achieve limited success rates when deployed on novel tasks out-of-the-box. To allow these policies to safely interact with their environments, we need a failure detector that gives a timely alert such that the robot can stop, backtrack, or ask for help. However, existing failure detectors are trained and tested only on one or a few specific tasks, while VLAs require the detector to generalize and detect failures also in unseen tasks and novel environments. In this paper, we introduce the multitask failure detection problem and propose SAFE, a failure detector for generalist robot policies such as VLAs. We analyze the VLA feature space and find that VLAs have sufficient high-level knowledge about task success and failure, which is generic across different tasks. Based on this insight, we design SAFE to learn from VLA internal features and predict a single scalar indicating the likelihood of task failure. SAFE is trained on both successful and failed rollouts, and is evaluated on unseen tasks. SAFE is compatible with different policy architectures. We test it on OpenVLA, pi_0, and pi_0-FAST in both simulated and real-world environments extensively. We compare SAFE with diverse baselines and show that SAFE achieves state-of-the-art failure detection performance and the best trade-off between accuracy and detection time using conformal prediction. More qualitative results can be found at https://vla-safe.github.io/.

SAFE: Multitask Foutdetectie voor Vision-Language-Action Modellen

SAFE: Multitask Failure Detection for Vision-Language-Action Models

Samenvatting

Support