SAFE: Detecção de Falhas Multitarefa para Modelos Visão-Linguagem-Ação

Resumo

Embora os modelos visão-linguagem-ação (VLAs) tenham demonstrado comportamentos robóticos promissores em uma diversidade de tarefas de manipulação, eles alcançam taxas de sucesso limitadas quando implantados em tarefas novas sem ajustes prévios. Para permitir que essas políticas interajam com segurança em seus ambientes, precisamos de um detector de falhas que forneça um alerta oportuno, de modo que o robô possa parar, retroceder ou pedir ajuda. No entanto, os detectores de falhas existentes são treinados e testados apenas em uma ou poucas tarefas específicas, enquanto os VLAs exigem que o detector generalize e detecte falhas também em tarefas não vistas e ambientes novos. Neste artigo, introduzimos o problema de detecção de falhas multitarefa e propomos o SAFE, um detector de falhas para políticas robóticas generalistas, como os VLAs. Analisamos o espaço de características dos VLAs e descobrimos que eles possuem conhecimento suficiente de alto nível sobre sucesso e falha de tarefas, que é genérico entre diferentes tarefas. Com base nessa percepção, projetamos o SAFE para aprender a partir das características internas dos VLAs e prever um único escalar que indica a probabilidade de falha na tarefa. O SAFE é treinado em execuções bem-sucedidas e falhas, e é avaliado em tarefas não vistas. O SAFE é compatível com diferentes arquiteturas de políticas. Testamos o SAFE no OpenVLA, pi_0 e pi_0-FAST em ambientes simulados e do mundo real de forma extensiva. Comparamos o SAFE com diversas linhas de base e mostramos que ele alcança desempenho de detecção de falhas de última geração e o melhor equilíbrio entre precisão e tempo de detecção usando previsão conformal. Mais resultados qualitativos podem ser encontrados em https://vla-safe.github.io/.

English

While vision-language-action models (VLAs) have shown promising robotic behaviors across a diverse set of manipulation tasks, they achieve limited success rates when deployed on novel tasks out-of-the-box. To allow these policies to safely interact with their environments, we need a failure detector that gives a timely alert such that the robot can stop, backtrack, or ask for help. However, existing failure detectors are trained and tested only on one or a few specific tasks, while VLAs require the detector to generalize and detect failures also in unseen tasks and novel environments. In this paper, we introduce the multitask failure detection problem and propose SAFE, a failure detector for generalist robot policies such as VLAs. We analyze the VLA feature space and find that VLAs have sufficient high-level knowledge about task success and failure, which is generic across different tasks. Based on this insight, we design SAFE to learn from VLA internal features and predict a single scalar indicating the likelihood of task failure. SAFE is trained on both successful and failed rollouts, and is evaluated on unseen tasks. SAFE is compatible with different policy architectures. We test it on OpenVLA, pi_0, and pi_0-FAST in both simulated and real-world environments extensively. We compare SAFE with diverse baselines and show that SAFE achieves state-of-the-art failure detection performance and the best trade-off between accuracy and detection time using conformal prediction. More qualitative results can be found at https://vla-safe.github.io/.

SAFE: Detecção de Falhas Multitarefa para Modelos Visão-Linguagem-Ação

SAFE: Multitask Failure Detection for Vision-Language-Action Models

Resumo

Support