EXPL-FR: 비전-언어 정렬을 통한 얼굴 인식 모델 설명

초록

심층 얼굴 인식(FR) 모델은 포화에 가까운 정확도에 도달했지만 여전히 불투명하다. 실무자는 유사도 점수가 어떤 의미 속성에 의존했는지 질의할 수 없다. EXPL-FR은 FR 모델 자체의 임베딩 공간 안에서 이 질문에 답한다. 경량 어댑터가 비전-언어 모델(VLM)의 이미지 인코더를 고정된 FR 공간에 정렬하며, 얼굴 이미지만으로 훈련되고 텍스트로는 훈련되지 않는다. VLM의 인코더들이 하나의 공간을 공유하므로, 동일한 어댑터가 텍스트 인코더에도 적용되어, 22개 범주의 978개 속성 프롬프트(확장 가능)를 추가 비용 없이 FR 공간의 앵커로 변환한다. 우리는 이러한 전이가 실제로 작동한다고 가정하지 않는다. 얼굴 검증 프로토콜이 이를 측정하고, 어댑터만 변경하는 제거 실험이 그 기여를 분리한다. 모든 개념이 살아남는 것은 아니다. FR 모델은 신원을 검증할 때 무시해야 하는 요인들을 버림으로써 불변성을 얻기 때문이다. 레이블 없는 검출 가능성 측정치가 각 개념의 분리 가능성을 FR 공간과 VLM 공간에서 비교하며, 가장 검출 가능한 100개가 모델의 해독 가능한 의미적 시그니처를 형성하는데, 이는 전체 어휘보다 신원을 더 잘 분리한다. 우리는 네 개의 FR 백본과 두 개의 VLM 인코더를 다루며, EXPL-FR은 아키텍처 접근권이 필요 없고, 신원 수준, 이미지별, 차등 설명을 지원한다. 우리는 세 가지 지도 설정, 즉 인간 라벨(현재 관행), VLM 의사 라벨, 그리고 완전히 프롬프트 기반인 우리의 감사 하에서 속성 수준 감사를 실제 검증 행동에 대해 벤치마킹한다. 라벨 없이, 프롬프트 기반 감사는 네 FR 모델을 측정된 인종별 RFW 오류에 따라 순위를 매기고, 통제된 속성 변화를 실제 검증 비용에 따라 순위를 매긴다.

English

Deep face recognition (FR) models reach near-saturated accuracy but remain opaque: a practitioner cannot ask which semantic attributes a similarity score relied upon. EXPL-FR answers this inside the FR model's own embedding space. A lightweight adapter aligns a vision-language model's (VLM) image encoder with the frozen FR space, trained on face images alone and never on text. Because the VLM's encoders share one space, the same adapter applies to the text encoder, turning 978 attribute prompts in 22 categories, also extendable, into FR-space anchors at no extra cost. We do not assume this transfer works: a face-verification protocol measures it, and an ablation changing only the adapter isolates its contribution. Not every concept survives, because an FR model earns its invariances by discarding the factors it must verify identities across. A label-free detectability measure compares each concept's separability in FR space against the VLM space, and the 100 most detectable form the model's readable semantic signature, which separates identities better than the full vocabulary. We cover four FR backbones and two VLM encoders, EXPL-FR needs no architecture access, and supports identity-level, per-image, and differential explanations. We benchmark attribute-level auditing under three supervision settings, human labels (current practice), VLM pseudo-labels, and our fully prompt-driven audit, against real verification behavior. With no labels, the prompt-driven audit ranks four FR models by their measured per-ethnicity RFW errors and ranks controlled attribute changes by their true verification cost.