StyleID: un dataset e una metrica consapevoli della percezione per il riconoscimento dell'identità facciale agnostico alla stilizzazione

StyleID: A Perception-Aware Dataset and Metric for Stylization-Agnostic Facial Identity Recognition

April 23, 2026

Autori: Kwan Yun, Changmin Lee, Ayeong Jeong, Youngseo Kim, Seungmi Lee, Junyong Noh

cs.AI

Abstract

La stilizzazione creativa del volto mira a rappresentare ritratti in diversi stili visivi come fumetti, schizzi e dipinti, preservando al contempo l'identità riconoscibile. Tuttavia, gli attuali encoder d'identità, generalmente addestrati e calibrati su fotografie naturali, mostrano una marcata fragilità in contesti di stilizzazione. Spesso scambiano variazioni di texture o palette cromatiche per alterazioni identitarie, o non riescono a rilevare esagerazioni geometriche. Ciò rivela l'assenza di un framework style-agnostic per valutare e supervisionare la coerenza identitaria attraverso stili e intensità diverse. Per colmare questa lacuna, presentiamo StyleID, un dataset e framework di valutazione consapevole della percezione umana per l'identità facciale sotto stilizzazione. StyleID comprende due dataset: (i) StyleBench-H, un benchmark che raccoglie giudizi umani di verifica identitaria su stilizzazioni basate su diffusion e flow-matching a diverse intensità stilistiche, e (ii) StyleBench-S, un set di supervisione derivato da curve psicometriche di forza riconoscitiva ottenute attraverso esperimenti controllati 2AFC (two-alternative forced-choice). Sfruttando StyleBench-S, ottimizziamo encoder semantici esistenti per allineare i loro ordinamenti di similarità con la percezione umana attraverso stili e intensità. Gli esperimenti dimostrano che i nostri modelli calibrati raggiungono una correlazione significativamente più alta con i giudizi umani e una maggiore robustezza per ritratti disegnati da artisti fuori dominio. Tutti i nostri dataset, codice e modelli preaddestrati sono disponibili pubblicamente su https://kwanyun.github.io/StyleID_page/

English

Creative face stylization aims to render portraits in diverse visual idioms such as cartoons, sketches, and paintings while retaining recognizable identity. However, current identity encoders, which are typically trained and calibrated on natural photographs, exhibit severe brittleness under stylization. They often mistake changes in texture or color palette for identity drift or fail to detect geometric exaggerations. This reveals the lack of a style-agnostic framework to evaluate and supervise identity consistency across varying styles and strengths. To address this gap, we introduce StyleID, a human perception-aware dataset and evaluation framework for facial identity under stylization. StyleID comprises two datasets: (i) StyleBench-H, a benchmark that captures human same-different verification judgments across diffusion- and flow-matching-based stylization at multiple style strengths, and (ii) StyleBench-S, a supervision set derived from psychometric recognition-strength curves obtained through controlled two-alternative forced-choice (2AFC) experiments. Leveraging StyleBench-S, we fine-tune existing semantic encoders to align their similarity orderings with human perception across styles and strengths. Experiments demonstrate that our calibrated models yield significantly higher correlation with human judgments and enhanced robustness for out-of-domain, artist drawn portraits. All of our datasets, code, and pretrained models are publicly available at https://kwanyun.github.io/StyleID_page/