SAFE: Многофункциональное обнаружение сбоев для моделей "Видео-Язык-Действие"

Аннотация

Хотя модели, объединяющие зрение, язык и действия (VLAs), демонстрируют перспективные роботизированные поведения в широком спектре задач манипулирования, их успешность ограничена при выполнении новых задач "из коробки". Чтобы обеспечить безопасное взаимодействие таких политик с окружающей средой, необходим детектор сбоев, который своевременно предупреждает, позволяя роботу остановиться, откатиться или запросить помощь. Однако существующие детекторы сбоев обучаются и тестируются только на одной или нескольких конкретных задачах, тогда как для VLAs требуется, чтобы детектор мог обобщать и выявлять сбои в новых задачах и неизвестных средах. В данной работе мы вводим проблему многозадачного обнаружения сбоев и предлагаем SAFE — детектор сбоев для универсальных роботизированных политик, таких как VLAs. Мы анализируем пространство признаков VLAs и обнаруживаем, что VLAs обладают достаточными знаниями высокого уровня об успехе и неудаче задачи, которые являются общими для различных задач. На основе этого наблюдения мы разрабатываем SAFE, который обучается на внутренних признаках VLAs и предсказывает скалярное значение, указывающее вероятность сбоя задачи. SAFE обучается как на успешных, так и на неудачных прогонах и оценивается на новых задачах. SAFE совместим с различными архитектурами политик. Мы тестируем его на OpenVLA, pi_0 и pi_0-FAST как в симулированных, так и в реальных условиях. Мы сравниваем SAFE с различными базовыми методами и показываем, что SAFE достигает наилучших показателей обнаружения сбоев и оптимального баланса между точностью и временем обнаружения с использованием конформного предсказания. Дополнительные качественные результаты можно найти по адресу https://vla-safe.github.io/.

English

While vision-language-action models (VLAs) have shown promising robotic behaviors across a diverse set of manipulation tasks, they achieve limited success rates when deployed on novel tasks out-of-the-box. To allow these policies to safely interact with their environments, we need a failure detector that gives a timely alert such that the robot can stop, backtrack, or ask for help. However, existing failure detectors are trained and tested only on one or a few specific tasks, while VLAs require the detector to generalize and detect failures also in unseen tasks and novel environments. In this paper, we introduce the multitask failure detection problem and propose SAFE, a failure detector for generalist robot policies such as VLAs. We analyze the VLA feature space and find that VLAs have sufficient high-level knowledge about task success and failure, which is generic across different tasks. Based on this insight, we design SAFE to learn from VLA internal features and predict a single scalar indicating the likelihood of task failure. SAFE is trained on both successful and failed rollouts, and is evaluated on unseen tasks. SAFE is compatible with different policy architectures. We test it on OpenVLA, pi_0, and pi_0-FAST in both simulated and real-world environments extensively. We compare SAFE with diverse baselines and show that SAFE achieves state-of-the-art failure detection performance and the best trade-off between accuracy and detection time using conformal prediction. More qualitative results can be found at https://vla-safe.github.io/.

SAFE: Многофункциональное обнаружение сбоев для моделей "Видео-Язык-Действие"

SAFE: Multitask Failure Detection for Vision-Language-Action Models

Аннотация

Support