ATTN-FIQA: Интерпретируемая оценка качества изображений лиц на основе внимания с использованием Vision Transformer

ATTN-FIQA: Interpretable Attention-based Face Image Quality Assessment with Vision Transformers

April 21, 2026

Авторы: Guray Ozgur, Tahar Chettaoui, Eduarda Caldeira, Jan Niklas Kolf, Marco Huber, Andrea Atzori, Naser Damer, Fadi Boutros

cs.AI

Аннотация

Оценка качества лицевых изображений (FIQA) направлена на определение полезности образцов лиц для распознавания и является ключевым компонентом надежных систем распознавания лиц (FR). Существующие подходы требуют вычислительно дорогостоящих процедур, таких как множественные прямые проходы, обратное распространение или дополнительное обучение, причем лишь недавние работы сосредоточились на использовании Vision Transformers. Последние исследования показали, что эти архитектуры по своей природе функционируют как детекторы значимости, где шаблоны внимания естественным образом кодируют пространственную важность. В данной работе предлагается ATTN-FIQA — новый подход, не требующий обучения, который исследует, могут ли оценки внимания до функции softmax из предварительно обученных моделей распознавания лиц на основе Vision Transformer служить индикаторами качества. Мы предполагаем, что величины внимания внутренне кодируют качество: высококачественные изображения с дискриминативными чертами лица обеспечивают сильное согласование запросов и ключей, порождая сфокусированные шаблоны внимания с высокой величиной, тогда как degraded-изображения генерируют размытые шаблоны с низкой величиной. ATTN-FIQA извлекает матрицы внимания до softmax из конечного трансформерного блока, агрегирует информацию многоголового внимания по всем патчам и вычисляет оценки качества на уровне изображения посредством простого усреднения, требуя лишь одного прямого прохода через предварительно обученные модели без модификаций архитектуры, обратного распространения или дополнительного обучения. В результате всесторонней оценки на восьми эталонных наборах данных и четырех моделях FR данная работа демонстрирует, что оценки качества на основе внимания эффективно коррелируют с качеством лицевых изображений и обеспечивают пространственную интерпретируемость, выявляя, какие области лица вносят наибольший вклад в определение качества.

English

Face Image Quality Assessment (FIQA) aims to assess the recognition utility of face samples and is essential for reliable face recognition (FR) systems. Existing approaches require computationally expensive procedures such as multiple forward passes, backpropagation, or additional training, and only recent work has focused on the use of Vision Transformers. Recent studies highlighted that these architectures inherently function as saliency learners with attention patterns naturally encoding spatial importance. This work proposes ATTN-FIQA, a novel training-free approach that investigates whether pre-softmax attention scores from pre-trained Vision Transformer-based face recognition models can serve as quality indicators. We hypothesize that attention magnitudes intrinsically encode quality: high-quality images with discriminative facial features enable strong query-key alignments producing focused, high-magnitude attention patterns, while degraded images generate diffuse, low-magnitude patterns. ATTN-FIQA extracts pre-softmax attention matrices from the final transformer block, aggregate multi-head attention information across all patches, and compute image-level quality scores through simple averaging, requiring only a single forward pass through pre-trained models without architectural modifications, backpropagation, or additional training. Through comprehensive evaluation across eight benchmark datasets and four FR models, this work demonstrates that attention-based quality scores effectively correlate with face image quality and provide spatial interpretability, revealing which facial regions contribute most to quality determination.