SPK: 실시간 객체 탐지에서 해석 가능한 분포 외 탐지를 위한 구조화된 사전 지식 도출

초록

객체 탐지기는 훈련 범주 밖의 객체에 대해 과신하는 예측을 자주 생성하여, 이른바 분포 외(out-of-distribution, OoD) 환각을 초래한다. 이러한 환각을 탐지하거나 완화하기 위한 기존 접근법은 일반적으로 학습된 객체 탐지기 표현에 직접 점수 함수를 구성하거나, 환각 발생을 억제하도록 객체 탐지기 자체를 수정한다. 그러나 이러한 표현에 암시적으로 인코딩된 잠재 사전 지식은 대부분 탐구되지 않았으며 OoD 탐지를 위해 명시적으로 디코딩되지 않았다. 이러한 잠재 사전 지식을 발견하고 활용하기 위해, 우리는 사전 훈련된 객체 탐지기로부터 OoD 관련 사전 지식을 명시적으로 이끌어내는 환각 중심 프레임워크인 구조적 사전 지식(Structured Prior Knowledge, SPK)을 제안한다. 구체적으로, SPK는 분포 내 데이터와 환각 유발 샘플을 진단적 감독으로 활용하여 객체 탐지기 의사 결정의 기반이 되는 부분 수준 의미 개념을 이끌어내며, 이를 단순히 거부나 객체 탐지기 적응에 사용하지 않는다. 이끌어낸 의미 사전 지식은 기하학적 및 맥락적 사전 지식과 통합되어 OoD 탐지를 위한 간결한 5차원 SPK 표현을 형성한다. 다양한 객체 탐지기 아키텍처와 여러 OoD 벤치마크에 걸친 광범위한 실험을 통해 SPK가 최첨단 OoD 탐지 성능을 달성함을 입증한다. 우리의 연구 결과는 사전 훈련된 객체 탐지기가 OoD 탐지를 위해 일반적으로 활용되는 것보다 훨씬 더 풍부한 잠재 지식을 이미 인코딩하고 있음을 보여준다. 더 중요한 것은, 이 지식을 명시적으로 이끌어내어 예측 신뢰도 분석을 위한 간결하고 구조화되며 해석 가능한 지식 공간으로 조직할 수 있다는 점이다. 이는 잠재 사전 지식을 명시적으로 발견하고 활용함으로써 객체 탐지기 신뢰도를 향상시킬 수 있는 유망한 능동적 경로를 시사한다. 코드와 데이터는 https://gricad-gitlab.univ-grenoble-alpes.fr/dnn-safety/spk 에서 이용 가능하다.

English

Object detectors often produce over-confident predictions for objects outside their training categories, leading to so-called out-of-distribution (OoD) hallucinations. Existing approaches for detecting or mitigating such hallucinations typically either construct scoring functions directly over learned object detector representations or modify the object detector itself to suppress hallucination emergence. However, the latent priors implicitly encoded in these representations remain largely unexplored and have not been explicitly decoded for OoD detection. To uncover and exploit these latent priors, we propose Structured Prior Knowledge (SPK), a hallucination-oriented framework that explicitly elicits OoD-relevant priors from pretrained object detectors. Specifically, SPK leverages in-distribution data and hallucination-inducing samples as diagnostic supervision to elicit part-level semantic concepts underlying object detector decision-making, rather than using them merely for rejection or object detector adaptation. The elicited semantic priors are further integrated with geometric and contextual priors to form a compact five-dimensional SPK representation for OoD detection. Extensive experiments across diverse object detector architectures and multiple OoD benchmarks demonstrate that SPK achieves state-of-the-art OoD detection. Our findings reveal that pretrained object detectors already encode substantially richer latent knowledge than is typically exploited for OoD detection. More importantly, this knowledge can be explicitly elicited and organized into a compact, structured, and interpretable knowledge space for prediction reliability analysis. This suggests a promising proactive route for improving object detector reliability by explicitly uncovering and leveraging latent priors. Code and data are available at: https://gricad-gitlab.univ-grenoble-alpes.fr/dnn-safety/spk