SPK：リアルタイム物体検出における解釈可能な分布外検出のための構造的事前知識の抽出

要旨

物体検出器は、学習カテゴリの外にある物体に対して過度に高い確信度の予測をしばしば生成し、いわゆる分布外（OoD）ハルシネーションを引き起こす。そのようなハルシネーションを検出または軽減する既存のアプローチは、通常、学習済み物体検出器の表現に直接スコアリング関数を構築するか、物体検出器自体を変更してハルシネーションの発生を抑制するかのいずれかである。しかしながら、これらの表現に暗黙的に符号化された潜在的事前知識は、ほとんど探索されておらず、OoD検出のために明示的に復号されたことはない。これらの潜在的事前知識を発見し活用するために、我々は、事前学習済み物体検出器からOoD関連の事前知識を明示的に引き出す、ハルシネーションに焦点を当てたフレームワークであるStructured Prior Knowledge（SPK）を提案する。具体的には、SPKは、分布内データとハルシネーションを誘発するサンプルを、単に棄却や物体検出器の適応のために用いるのではなく、診断的教師信号として利用する。これにより、物体検出器の意思決定の根底にある部分レベルの意味概念を引き出す。引き出された意味的事前知識は、幾何学的事前知識および文脈的事前知識とさらに統合され、OoD検出のためのコンパクトな5次元SPK表現を形成する。多様な物体検出器アーキテクチャと複数のOoDベンチマークにわたる広範な実験により、SPKが最先端のOoD検出性能を達成することが実証された。我々の発見は、事前学習済み物体検出器が、OoD検出に通常利用されるよりもはるかに豊かな潜在知識をすでに符号化していることを明らかにする。さらに重要なことに、この知識は明示的に引き出され、予測信頼性解析のためのコンパクトで構造化され、解釈可能な知識空間に整理することができる。これは、潜在的事前知識を明示的に発見し活用することにより、物体検出器の信頼性を向上させる有望な能動的アプローチを示唆している。コードとデータは以下のURLで公開されている： https://gricad-gitlab.univ-grenoble-alpes.fr/dnn-safety/spk

English

Object detectors often produce over-confident predictions for objects outside their training categories, leading to so-called out-of-distribution (OoD) hallucinations. Existing approaches for detecting or mitigating such hallucinations typically either construct scoring functions directly over learned object detector representations or modify the object detector itself to suppress hallucination emergence. However, the latent priors implicitly encoded in these representations remain largely unexplored and have not been explicitly decoded for OoD detection. To uncover and exploit these latent priors, we propose Structured Prior Knowledge (SPK), a hallucination-oriented framework that explicitly elicits OoD-relevant priors from pretrained object detectors. Specifically, SPK leverages in-distribution data and hallucination-inducing samples as diagnostic supervision to elicit part-level semantic concepts underlying object detector decision-making, rather than using them merely for rejection or object detector adaptation. The elicited semantic priors are further integrated with geometric and contextual priors to form a compact five-dimensional SPK representation for OoD detection. Extensive experiments across diverse object detector architectures and multiple OoD benchmarks demonstrate that SPK achieves state-of-the-art OoD detection. Our findings reveal that pretrained object detectors already encode substantially richer latent knowledge than is typically exploited for OoD detection. More importantly, this knowledge can be explicitly elicited and organized into a compact, structured, and interpretable knowledge space for prediction reliability analysis. This suggests a promising proactive route for improving object detector reliability by explicitly uncovering and leveraging latent priors. Code and data are available at: https://gricad-gitlab.univ-grenoble-alpes.fr/dnn-safety/spk