궤적 속 숨바꼭질: VLA 런타임 모니터링을 위한 실패 신호 발견

초록

비전-언어-행동(VLA) 모델은 로봇이 자연어 명령을 따르고 다양한 작업에 걸쳐 일반화할 수 있게 하지만, 실제 환경 배치에서 신뢰성을 저해하는 실행 실패에 여전히 취약하다. 따라서 실행 중 이러한 실패를 탐지하는 것은 내장형 시스템의 강건한 배치에 중요하다. 기존의 실패 탐지 방법은 비용이 많이 드는 행동 재샘플링이나 외부 모델에 의존하거나, 궤적 수준의 레이블을 모든 시간 단계에 균일하게 전파하여 국소적인 실패 신호를 모호하게 만든다. 본 논문에서는 VLA 실패 탐지를 조잡하게 지도 학습(coarsely supervised learning) 문제로 정식화하는 Hide-and-Seek 프레임워크를 제안한다. Hide-and-Seek은 궤적 간 및 궤적 내 대비적 목적 함수(contrastive objectives)를 결합하여, 단계별 주석 없이 오직 궤적 수준의 감독만으로 실패를 나타내는 행동을 국소화하고 시간적으로 구조화된 실패 신호를 유도한다. 우리는 Hide-and-Seek을 LIBERO, VLABench 및 실제 로봇 플랫폼에서 세 가지 대표적인 VLA 정책(OpenVLA, π_0, π_{0.5})에 대해 평가한다. 본 방법은 적합 예측(conformal prediction) 하에서 실용적인 정확도-적시성 절충을 통해 최첨단 다중 작업 실패 탐지 성능을 달성하며, 보지 못한 작업과 본 작업 모두에 잘 일반화된다.

English

Vision-Language-Action (VLA) models enable robots to follow natural language instructions and generalize across diverse tasks, but they remain vulnerable to execution failures that compromise reliability in real-world deployment. Detecting such failures during execution is therefore critical for the robust deployment of embodied systems. Existing failure detection methods either rely on expensive action resampling or external models, while alternatives propagate trajectory-level labels uniformly across every timestep, obscuring localized failure signals. In this paper, we propose Hide-and-Seek, a framework that formulates VLA failure detection as a coarsely supervised learning problem. By combining inter-trajectory and intra-trajectory contrastive objectives, Hide-and-Seek localizes failure-indicative actions and induces temporally structured failure signals from trajectory-level supervision alone, without any step-level annotation. We evaluate Hide-and-Seek on LIBERO, VLABench, and a real-world robotic platform across three representative VLA policies: OpenVLA, π_0, and π_{0.5}.Our method achieves state-of-the-art multi-task failure detection performance with a practical accuracy--timeliness trade-off under conformal prediction, and generalizes well to both seen and unseen tasks.