StyleMM: Стилизованная 3D-морфуемая модель лица на основе текстово-ориентированного выравнивания и перевода изображений

StyleMM: Stylized 3D Morphable Face Model via Text-Driven Aligned Image Translation

August 15, 2025

Авторы: Seungmi Lee, Kwan Yun, Junyong Noh

cs.AI

Аннотация

Мы представляем StyleMM — новый фреймворк, способный создавать стилизованную 3D Morphable Model (3DMM) на основе пользовательских текстовых описаний, задающих целевой стиль. Основываясь на предварительно обученной сети деформации мешей и генераторе текстур для реалистичных человеческих лиц, созданных с использованием оригинальной 3DMM, наш подход дообучает эти модели с помощью стилизованных изображений лиц, сгенерированных посредством текстово-управляемого перевода изображения в изображение (i2i) с использованием диффузионной модели. Эти изображения служат целями стилизации для визуализированного меша. Чтобы избежать нежелательных изменений в идентичности, выравнивании лица или выражениях во время перевода i2i, мы предлагаем метод стилизации, который явно сохраняет атрибуты лица исходного изображения. Сохраняя эти ключевые атрибуты в процессе стилизации изображений, предложенный подход обеспечивает согласованный перенос стиля в 3D-пространстве параметров 3DMM через обучение на основе изображений. После обучения StyleMM позволяет выполнять прямое генерирование стилизованных мешей лиц с явным контролем над параметрами формы, выражения и текстуры, создавая меши с согласованной связностью вершин и анимационными возможностями. Количественные и качественные оценки показывают, что наш подход превосходит современные методы с точки зрения разнообразия лиц на уровне идентичности и способности к стилизации. Код и видео доступны по адресу [kwanyun.github.io/stylemm_page](kwanyun.github.io/stylemm_page).

English

We introduce StyleMM, a novel framework that can construct a stylized 3D Morphable Model (3DMM) based on user-defined text descriptions specifying a target style. Building upon a pre-trained mesh deformation network and a texture generator for original 3DMM-based realistic human faces, our approach fine-tunes these models using stylized facial images generated via text-guided image-to-image (i2i) translation with a diffusion model, which serve as stylization targets for the rendered mesh. To prevent undesired changes in identity, facial alignment, or expressions during i2i translation, we introduce a stylization method that explicitly preserves the facial attributes of the source image. By maintaining these critical attributes during image stylization, the proposed approach ensures consistent 3D style transfer across the 3DMM parameter space through image-based training. Once trained, StyleMM enables feed-forward generation of stylized face meshes with explicit control over shape, expression, and texture parameters, producing meshes with consistent vertex connectivity and animatability. Quantitative and qualitative evaluations demonstrate that our approach outperforms state-of-the-art methods in terms of identity-level facial diversity and stylization capability. The code and videos are available at [kwanyun.github.io/stylemm_page](kwanyun.github.io/stylemm_page).