EXPL-FR: 視覚言語アライメントによる顔認識モデルの説明

要旨

深層顔認識（FR）モデルは、ほぼ飽和した精度に達しているが、依然として不透明である。実務者は、類似度スコアがどの意味的属性に依存していたかを問い合わせることができない。EXPL-FRは、FRモデル自身の埋め込み空間内でこの問いに答える。軽量アダプタが、視覚言語モデル（VLM）の画像エンコーダを凍結されたFR空間に整合させる。このアダプタは顔画像のみで訓練され、テキストでは一切訓練されない。VLMのエンコーダは単一の空間を共有するため、同じアダプタをテキストエンコーダにも適用でき、22カテゴリにわたる978個の属性プロンプト（拡張も可能）を追加コストなしでFR空間のアンカーに変換できる。我々はこの転移が機能することを前提としない。顔検証プロトコルでそれを測定し、アダプタのみを変更するアブレーションによってその寄与を分離する。すべての概念が生き残るわけではない。FRモデルは、アイデンティティを検証する際に越えなければならない要因を捨て去ることによって不変性を獲得するからである。ラベルなし検出可能性尺度は、各概念のFR空間とVLM空間における分離可能性を比較する。最も検出可能性の高い100の概念は、モデルの解釈可能な意味的シグネチャを形成し、これは全語彙よりもアイデンティティをうまく分離する。我々は4つのFRバックボーンと2つのVLMエンコーダを対象とする。EXPL-FRはアーキテクチャへのアクセスを必要とせず、アイデンティティレベル・画像ごと・差分の説明をサポートする。我々は、属性レベルの監査を3つの教師あり設定（人間ラベル（現在の慣行）、VLM擬似ラベル、および我々の完全プロンプト駆動監査）で、実際の検証挙動と比較してベンチマーク評価する。ラベルなしで、プロンプト駆動監査は、測定された民族別RFWエラーによって4つのFRモデルを順位付けし、真の検証コストによって制御された属性変更を順位付けする。

English

Deep face recognition (FR) models reach near-saturated accuracy but remain opaque: a practitioner cannot ask which semantic attributes a similarity score relied upon. EXPL-FR answers this inside the FR model's own embedding space. A lightweight adapter aligns a vision-language model's (VLM) image encoder with the frozen FR space, trained on face images alone and never on text. Because the VLM's encoders share one space, the same adapter applies to the text encoder, turning 978 attribute prompts in 22 categories, also extendable, into FR-space anchors at no extra cost. We do not assume this transfer works: a face-verification protocol measures it, and an ablation changing only the adapter isolates its contribution. Not every concept survives, because an FR model earns its invariances by discarding the factors it must verify identities across. A label-free detectability measure compares each concept's separability in FR space against the VLM space, and the 100 most detectable form the model's readable semantic signature, which separates identities better than the full vocabulary. We cover four FR backbones and two VLM encoders, EXPL-FR needs no architecture access, and supports identity-level, per-image, and differential explanations. We benchmark attribute-level auditing under three supervision settings, human labels (current practice), VLM pseudo-labels, and our fully prompt-driven audit, against real verification behavior. With no labels, the prompt-driven audit ranks four FR models by their measured per-ethnicity RFW errors and ranks controlled attribute changes by their true verification cost.