ATTN-FIQA：ビジョントランスフォーマーを用いた解釈可能な注意機構ベースの顔画像品質評価

要旨

顔画像品質評価（FIQA）は、顔サンプルの認識有用性を評価することを目的とし、信頼性の高い顔認識（FR）システムにとって不可欠である。既存の手法では、複数の順伝播、誤差逆伝播、あるいは追加の学習といった計算コストが高い手順が必要であり、Vision Transformerの利用に焦点を当てた研究が現れたのはごく最近である。最近の研究は、これらのアーキテクチャが顕著性学習器として本質的に機能し、注意力パターンが空間的重要度を自然に符号化することを明らかにしている。本研究は、ATTN-FIQAという新しい学習不要の手法を提案する。これは、事前学習済みVision Transformerベースの顔認識モデルから得られるソフトマックス適用前の注意力スコアが品質指標として機能するかどうかを調査するものである。我々は、注意力の大きさが本質的に品質を符号化すると仮説を立てる。識別性の高い顔特徴を持つ高品質画像は、強固なクエリ-キー整列を可能にし、焦点の絞られた高振幅の注意力パターンを生成する一方、劣化画像は拡散した低振幅のパターンを生成する。ATTN-FIQAは、最終トランスフォーマーブロックからソフトマックス適用前の注意力行列を抽出し、全パッチにわたるマルチヘッド注意力情報を集約し、単純な平均化を通じて画像レベルの品質スコアを計算する。これには、アーキテクチャの変更、誤差逆伝播、または追加の学習を必要とせず、事前学習済みモデルへの単一の順伝播のみが必要である。8つのベンチマークデータセットと4つのFRモデルを用いた包括的評価を通じて、本論文は、注意力ベースの品質スコアが顔画像品質と効果的に相関し、どの顔領域が品質判定に最も寄与するかを明らかにする空間的な解釈可能性を提供することを実証する。

English

Face Image Quality Assessment (FIQA) aims to assess the recognition utility of face samples and is essential for reliable face recognition (FR) systems. Existing approaches require computationally expensive procedures such as multiple forward passes, backpropagation, or additional training, and only recent work has focused on the use of Vision Transformers. Recent studies highlighted that these architectures inherently function as saliency learners with attention patterns naturally encoding spatial importance. This work proposes ATTN-FIQA, a novel training-free approach that investigates whether pre-softmax attention scores from pre-trained Vision Transformer-based face recognition models can serve as quality indicators. We hypothesize that attention magnitudes intrinsically encode quality: high-quality images with discriminative facial features enable strong query-key alignments producing focused, high-magnitude attention patterns, while degraded images generate diffuse, low-magnitude patterns. ATTN-FIQA extracts pre-softmax attention matrices from the final transformer block, aggregate multi-head attention information across all patches, and compute image-level quality scores through simple averaging, requiring only a single forward pass through pre-trained models without architectural modifications, backpropagation, or additional training. Through comprehensive evaluation across eight benchmark datasets and four FR models, this work demonstrates that attention-based quality scores effectively correlate with face image quality and provide spatial interpretability, revealing which facial regions contribute most to quality determination.

ATTN-FIQA：ビジョントランスフォーマーを用いた解釈可能な注意機構ベースの顔画像品質評価

ATTN-FIQA: Interpretable Attention-based Face Image Quality Assessment with Vision Transformers

要旨

Support