StyleID: Um Conjunto de Dados e Métrica Consciente da Percepção para Reconhecimento de Identidade Facial Agnóstico à Estilização

StyleID: A Perception-Aware Dataset and Metric for Stylization-Agnostic Facial Identity Recognition

April 23, 2026

Autores: Kwan Yun, Changmin Lee, Ayeong Jeong, Youngseo Kim, Seungmi Lee, Junyong Noh

cs.AI

Resumo

A estilização facial criativa visa representar retratos em diversos estilos visuais, como caricaturas, esboços e pinturas, mantendo a identidade reconhecível. No entanto, os codificadores de identidade atuais, geralmente treinados e calibrados em fotografias naturais, apresentam severa fragilidade sob estilização. Eles frequentemente confundem alterações na textura ou paleta de cores com desvio de identidade ou falham em detectar exagerações geométricas. Isso revela a falta de uma estrutura independente de estilo para avaliar e supervisionar a consistência da identidade em diferentes estilos e intensidades. Para preencher essa lacuna, introduzimos o StyleID, um conjunto de dados e estrutura de avaliação consciente da percepção humana para identidade facial sob estilização. O StyleID compreende dois conjuntos de dados: (i) StyleBench-H, um benchmark que captura julgamentos humanos de verificação de semelhança/diferença em estilizações baseadas em difusão e fluxo em múltiplas intensidades de estilo, e (ii) StyleBench-S, um conjunto de supervisão derivado de curvas psicométricas de força de reconhecimento obtidas através de experimentos controlados de escolha forçada entre duas alternativas (2AFC). Aproveitando o StyleBench-S, ajustamos finamente codificadores semânticos existentes para alinhar suas ordenações de similaridade com a percepção humana entre estilos e intensidades. Experimentos demonstram que nossos modelos calibrados produzem correlação significativamente maior com julgamentos humanos e robustez aprimorada para retratos desenhados por artistas fora do domínio. Todos os nossos conjuntos de dados, código e modelos pré-treinados estão publicamente disponíveis em https://kwanyun.github.io/StyleID_page/

English

Creative face stylization aims to render portraits in diverse visual idioms such as cartoons, sketches, and paintings while retaining recognizable identity. However, current identity encoders, which are typically trained and calibrated on natural photographs, exhibit severe brittleness under stylization. They often mistake changes in texture or color palette for identity drift or fail to detect geometric exaggerations. This reveals the lack of a style-agnostic framework to evaluate and supervise identity consistency across varying styles and strengths. To address this gap, we introduce StyleID, a human perception-aware dataset and evaluation framework for facial identity under stylization. StyleID comprises two datasets: (i) StyleBench-H, a benchmark that captures human same-different verification judgments across diffusion- and flow-matching-based stylization at multiple style strengths, and (ii) StyleBench-S, a supervision set derived from psychometric recognition-strength curves obtained through controlled two-alternative forced-choice (2AFC) experiments. Leveraging StyleBench-S, we fine-tune existing semantic encoders to align their similarity orderings with human perception across styles and strengths. Experiments demonstrate that our calibrated models yield significantly higher correlation with human judgments and enhanced robustness for out-of-domain, artist drawn portraits. All of our datasets, code, and pretrained models are publicly available at https://kwanyun.github.io/StyleID_page/