SAFE : Détection multitâche des défaillances pour les modèles vision-langage-action

Résumé

Bien que les modèles vision-langage-action (VLA) aient démontré des comportements robotiques prometteurs dans un ensemble diversifié de tâches de manipulation, ils obtiennent des taux de succès limités lorsqu'ils sont déployés sur des tâches nouvelles sans adaptation préalable. Pour permettre à ces politiques d'interagir en toute sécurité avec leur environnement, nous avons besoin d'un détecteur de défaillance qui fournit une alerte en temps opportun afin que le robot puisse s'arrêter, revenir en arrière ou demander de l'aide. Cependant, les détecteurs de défaillance existants sont entraînés et testés uniquement sur une ou quelques tâches spécifiques, tandis que les VLA nécessitent que le détecteur généralise et identifie les défaillances également dans des tâches inédites et des environnements nouveaux. Dans cet article, nous introduisons le problème de la détection de défaillance multitâche et proposons SAFE, un détecteur de défaillance pour les politiques robotiques généralistes telles que les VLA. Nous analysons l'espace de caractéristiques des VLA et constatons que ces derniers possèdent une connaissance de haut niveau suffisante sur la réussite et l'échec des tâches, qui est générique pour différentes tâches. Sur la base de cette observation, nous concevons SAFE pour apprendre à partir des caractéristiques internes des VLA et prédire un scalaire unique indiquant la probabilité d'échec de la tâche. SAFE est entraîné sur des déploiements réussis et échoués, et est évalué sur des tâches inédites. SAFE est compatible avec différentes architectures de politiques. Nous le testons sur OpenVLA, pi_0 et pi_0-FAST dans des environnements simulés et réels de manière extensive. Nous comparons SAFE avec diverses méthodes de référence et montrons que SAFE atteint des performances de détection de défaillance de pointe et le meilleur compromis entre précision et temps de détection en utilisant la prédiction conforme. Plus de résultats qualitatifs sont disponibles à l'adresse https://vla-safe.github.io/.

English

While vision-language-action models (VLAs) have shown promising robotic behaviors across a diverse set of manipulation tasks, they achieve limited success rates when deployed on novel tasks out-of-the-box. To allow these policies to safely interact with their environments, we need a failure detector that gives a timely alert such that the robot can stop, backtrack, or ask for help. However, existing failure detectors are trained and tested only on one or a few specific tasks, while VLAs require the detector to generalize and detect failures also in unseen tasks and novel environments. In this paper, we introduce the multitask failure detection problem and propose SAFE, a failure detector for generalist robot policies such as VLAs. We analyze the VLA feature space and find that VLAs have sufficient high-level knowledge about task success and failure, which is generic across different tasks. Based on this insight, we design SAFE to learn from VLA internal features and predict a single scalar indicating the likelihood of task failure. SAFE is trained on both successful and failed rollouts, and is evaluated on unseen tasks. SAFE is compatible with different policy architectures. We test it on OpenVLA, pi_0, and pi_0-FAST in both simulated and real-world environments extensively. We compare SAFE with diverse baselines and show that SAFE achieves state-of-the-art failure detection performance and the best trade-off between accuracy and detection time using conformal prediction. More qualitative results can be found at https://vla-safe.github.io/.

SAFE : Détection multitâche des défaillances pour les modèles vision-langage-action

SAFE: Multitask Failure Detection for Vision-Language-Action Models

Résumé

Support