O-VAD: 객체 중심 추적 및 추론을 통한 산업 영상 이상 탐지

초록

산업 영상 이상 탐지(IVAD)는 산업 공정에서 이상 객체와 이벤트를 식별하는 것을 목표로 하며, 이는 현대 제조 및 품질 관리 시스템에 필수적이다. 기존 VLM 기반 이상 추론 방법은 일반 도메인에서 개방형 이상을 탐지할 수 있다. 그러나 복잡한 객체 변환, 엄격한 물리 법칙, 공정 제약 조건이 특징인 산업 환경에서는 성능이 저하된다. 이러한 상호작용이 집약적인 탐지의 복잡성을 해결하기 위해, 우리는 도메인 특화 지식 없이도 이상 탐지가 가능한 훈련 없는 에이전트 기반 프레임워크를 도입하며, 인간 검사관처럼 객체 상태 진화에 중점을 둔다. 이 프레임워크는 시간에 따른 탐지된 객체의 시공간 역학과 내재적 변환을 추적한 후, 객체별 시간적 상태 궤적을 추론하여 정확한 프레임에서 이상 객체를 식별하도록 설계되었다. 우리의 방법은 정상 클립에 대한 재훈련이나 테스트 시 추론을 위한 컨텍스트로 도메인 지식을 주입하는 이전 접근 방식의 한계를 극복한다. 세 가지 IVAD 데이터셋에 대한 광범위한 실험을 통해, 우리의 방법이 최신 VLM, 에이전트 기반 프레임워크, 그리고 각 데이터셋에 미세 조정된 전통적인 VAD 방법보다 뛰어난 성능을 보이면서도 이상 과정과 유형에 대한 해석 가능한 보고서를 제공함을 입증한다.

English

Industrial Video Anomaly Detection (IVAD) aims to identify anomalous objects and events in an industrial process, which is crucial for modern manufacturing and quality control systems. Existing VLM-based anomaly reasoning methods are capable of detecting open-ended anomalies in general domains. However, their performance declines in industrial settings characterized by intricate object transformations, strict physics, and procedural constraints. To tackle the complexity of such interaction-intensive detection, we introduce a training-free agentic framework for anomaly detection free of domain-specific knowledge, emphasizing object state evolution like humans inspectors. It is designed to track spatial-temporal dynamics and underlying transformations of detected objects over time, and then reason over the object-wise temporal state trajectories to identify abnormal objects in grounded frames. Our method overcomes limitations of prior approaches that rely on retraining on normal clips or injecting domain knowledge as context for test-time inference. Extensive experiments on three IVAD datasets demonstrate that our method outperforms frontier VLMs, agentic frameworks, and traditional VAD methods fine-tuned on the respective datasets, while providing interpretable reports over anomaly processes and types.