StyleID: набор данных и метрика для распознавания идентичности лица, независимого от стилизации, с учетом особенностей восприятия

StyleID: A Perception-Aware Dataset and Metric for Stylization-Agnostic Facial Identity Recognition

April 23, 2026

Авторы: Kwan Yun, Changmin Lee, Ayeong Jeong, Youngseo Kim, Seungmi Lee, Junyong Noh

cs.AI

Аннотация

Креативная стилизация лиц направлена на преобразование портретов в разнообразные визуальные стили, такие как мультфильмы, наброски и живопись, с сохранением узнаваемости идентичности. Однако современные энкодеры идентичности, которые обычно обучаются и калибруются на натуральных фотографиях, демонстрируют значительную хрупкость при стилизации. Они часто ошибочно принимают изменения текстуры или цветовой палитры за изменение идентичности или не способны распознать геометрические преувеличения. Это указывает на отсутствие стиле-независимого подхода для оценки и контроля согласованности идентичности при различных стилях и уровнях воздействия. Для устранения этого пробела мы представляем StyleID — набор данных и оценочную систему, учитывающие человеческое восприятие для анализа идентичности лица при стилизации. StyleID включает два набора данных: (i) StyleBench-H, эталонный набор, фиксирующий суждения людей о схожести/различии на основе стилизаций, созданных диффузионными моделями и моделями с согласованием потоков при различных уровнях стилизации, и (ii) StyleBench-S, набор для обучения, полученный из психометрических кривых силы распознавания, построенных по результатам контролируемых экспериментов с двумя альтернативами и принудительным выбором (2AFC). Используя StyleBench-S, мы дообучаем существующие семантические энкодеры, чтобы согласовать порядок сходства, определяемый ими, с человеческим восприятием для различных стилей и уровней воздействия. Эксперименты показывают, что наши калиброванные модели достигают значительно более высокой корреляции с человеческими оценками и повышенной устойчивости к портретам, нарисованным художниками, вне домена обучения. Все наши наборы данных, код и предобученные модели общедоступны по адресу https://kwanyun.github.io/StyleID_page/.

English

Creative face stylization aims to render portraits in diverse visual idioms such as cartoons, sketches, and paintings while retaining recognizable identity. However, current identity encoders, which are typically trained and calibrated on natural photographs, exhibit severe brittleness under stylization. They often mistake changes in texture or color palette for identity drift or fail to detect geometric exaggerations. This reveals the lack of a style-agnostic framework to evaluate and supervise identity consistency across varying styles and strengths. To address this gap, we introduce StyleID, a human perception-aware dataset and evaluation framework for facial identity under stylization. StyleID comprises two datasets: (i) StyleBench-H, a benchmark that captures human same-different verification judgments across diffusion- and flow-matching-based stylization at multiple style strengths, and (ii) StyleBench-S, a supervision set derived from psychometric recognition-strength curves obtained through controlled two-alternative forced-choice (2AFC) experiments. Leveraging StyleBench-S, we fine-tune existing semantic encoders to align their similarity orderings with human perception across styles and strengths. Experiments demonstrate that our calibrated models yield significantly higher correlation with human judgments and enhanced robustness for out-of-domain, artist drawn portraits. All of our datasets, code, and pretrained models are publicly available at https://kwanyun.github.io/StyleID_page/