StyleID: Ein wahrnehmungsbasiertes Datenset und Metrik für stilisierungsunabhängige Gesichtsidentifikation

StyleID: A Perception-Aware Dataset and Metric for Stylization-Agnostic Facial Identity Recognition

April 23, 2026

Autoren: Kwan Yun, Changmin Lee, Ayeong Jeong, Youngseo Kim, Seungmi Lee, Junyong Noh

cs.AI

Zusammenfassung

Kreative Gesichtsstilisierung zielt darauf ab, Porträts in verschiedenen visuellen Stilen wie Cartoons, Skizzen und Gemälden darzustellen, während die erkennbare Identität erhalten bleibt. Allerdings zeigen aktuelle Identitäts-Encoder, die typischerweise auf natürlichen Fotografien trainiert und kalibriert werden, eine erhebliche Anfälligkeit bei Stilisierungen. Sie interpretieren häufig Veränderungen in Textur oder Farbpalette fälschlicherweise als Identitätsverschiebung oder erkennen geometrische Überzeichnungen nicht. Dies offenbart das Fehlen eines stil-agnostischen Rahmens, um die Identitätskonsistenz über verschiedene Stile und Stärken hinweg zu bewerten und zu überwachen. Um diese Lücke zu schließen, stellen wir StyleID vor, einen auf menschlicher Wahrnehmung basierenden Datensatz und Bewertungsrahmen für Gesichtsidentität unter Stilisierung. StyleID umfasst zwei Datensätze: (i) StyleBench-H, einen Benchmark, der menschliche Gleichheits-/Ungleichheits-Urteile über diffusions- und flow-matching-basierte Stilisierungen bei mehreren Stilstärken erfasst, und (ii) StyleBench-S, einen Supervisionsdatensatz, der aus psychometrischen Erkennungsstärke-Kurven abgeleitet wurde, die durch kontrollierte Zwei-Alternativen-Zwangswahl-Experimente (2AFC) gewonnen wurden. Unter Nutzung von StyleBench-H feinen wir vorhandene semantische Encoder ab, um ihre Ähnlichkeitsrangfolgen mit der menschlichen Wahrnehmung über Stile und Stärken hinweg in Einklang zu bringen. Experimente zeigen, dass unsere kalibrierten Modelle eine signifikant höhere Korrelation mit menschlichen Urteilen und eine verbesserte Robustheit für domänenfremde, künstlerisch gezeichnete Porträts aufweisen. Alle unsere Datensätze, Code und vortrainierte Modelle sind öffentlich verfügbar unter https://kwanyun.github.io/StyleID_page/.

English

Creative face stylization aims to render portraits in diverse visual idioms such as cartoons, sketches, and paintings while retaining recognizable identity. However, current identity encoders, which are typically trained and calibrated on natural photographs, exhibit severe brittleness under stylization. They often mistake changes in texture or color palette for identity drift or fail to detect geometric exaggerations. This reveals the lack of a style-agnostic framework to evaluate and supervise identity consistency across varying styles and strengths. To address this gap, we introduce StyleID, a human perception-aware dataset and evaluation framework for facial identity under stylization. StyleID comprises two datasets: (i) StyleBench-H, a benchmark that captures human same-different verification judgments across diffusion- and flow-matching-based stylization at multiple style strengths, and (ii) StyleBench-S, a supervision set derived from psychometric recognition-strength curves obtained through controlled two-alternative forced-choice (2AFC) experiments. Leveraging StyleBench-S, we fine-tune existing semantic encoders to align their similarity orderings with human perception across styles and strengths. Experiments demonstrate that our calibrated models yield significantly higher correlation with human judgments and enhanced robustness for out-of-domain, artist drawn portraits. All of our datasets, code, and pretrained models are publicly available at https://kwanyun.github.io/StyleID_page/