PixelSmile: в сторону детального редактирования мимики
PixelSmile: Toward Fine-Grained Facial Expression Editing
March 26, 2026
Авторы: Jiabin Hua, Hengyuan Xu, Aojie Li, Wei Cheng, Gang Yu, Xingjun Ma, Yu-Gang Jiang
cs.AI
Аннотация
Тонкое редактирование мимики долгое время ограничивалось внутренним семантическим перекрытием. Для решения этой проблемы мы создали набор данных FFE (Flex Facial Expression) с непрерывными аффективными аннотациями и разработали FFE-Bench для оценки структурной путаницы, точности редактирования, линейной управляемости и компромисса между редактированием выражений и сохранением идентичности. Мы предлагаем PixelSmile — диффузионную модель, которая разделяет семантику выражений за счёт полностью симметричного совместного обучения. PixelSmile сочетает контроль интенсивности с контрастным обучением для генерации более выраженных и различимых эмоций, достигая точного и стабильного линейного управления выражениями через текстовую латентную интерполяцию. Многочисленные эксперименты демонстрируют, что PixelSmile обеспечивает превосходное разделение признаков и устойчивое сохранение идентичности, подтверждая его эффективность для непрерывного, управляемого и тонкого редактирования мимики, а также естественную поддержку плавного смешивания выражений.
English
Fine-grained facial expression editing has long been limited by intrinsic semantic overlap. To address this, we construct the Flex Facial Expression (FFE) dataset with continuous affective annotations and establish FFE-Bench to evaluate structural confusion, editing accuracy, linear controllability, and the trade-off between expression editing and identity preservation. We propose PixelSmile, a diffusion framework that disentangles expression semantics via fully symmetric joint training. PixelSmile combines intensity supervision with contrastive learning to produce stronger and more distinguishable expressions, achieving precise and stable linear expression control through textual latent interpolation. Extensive experiments demonstrate that PixelSmile achieves superior disentanglement and robust identity preservation, confirming its effectiveness for continuous, controllable, and fine-grained expression editing, while naturally supporting smooth expression blending.