StyleMM: Modelo Morfológico 3D Estilizado de Rostros mediante Traducción de Imágenes Alineadas Guiada por Texto

StyleMM: Stylized 3D Morphable Face Model via Text-Driven Aligned Image Translation

August 15, 2025

Autores: Seungmi Lee, Kwan Yun, Junyong Noh

cs.AI

Resumen

Presentamos StyleMM, un marco novedoso que puede construir un Modelo Morfológico 3D (3DMM) estilizado basado en descripciones textuales definidas por el usuario que especifican un estilo objetivo. Partiendo de una red de deformación de mallas preentrenada y un generador de texturas para caras humanas realistas basadas en 3DMM originales, nuestro enfoque ajusta estos modelos utilizando imágenes faciales estilizadas generadas mediante traducción de imagen a imagen (i2i) guiada por texto con un modelo de difusión, las cuales sirven como objetivos de estilización para la malla renderizada. Para evitar cambios no deseados en la identidad, alineación facial o expresiones durante la traducción i2i, introducimos un método de estilización que preserva explícitamente los atributos faciales de la imagen fuente. Al mantener estos atributos críticos durante la estilización de la imagen, el enfoque propuesto asegura una transferencia de estilo 3D consistente en el espacio de parámetros del 3DMM mediante entrenamiento basado en imágenes. Una vez entrenado, StyleMM permite la generación en avance de mallas faciales estilizadas con control explícito sobre los parámetros de forma, expresión y textura, produciendo mallas con conectividad de vértices y animabilidad consistentes. Evaluaciones cuantitativas y cualitativas demuestran que nuestro enfoque supera a los métodos más avanzados en términos de diversidad facial a nivel de identidad y capacidad de estilización. El código y los videos están disponibles en [kwanyun.github.io/stylemm_page](kwanyun.github.io/stylemm_page).

English

We introduce StyleMM, a novel framework that can construct a stylized 3D Morphable Model (3DMM) based on user-defined text descriptions specifying a target style. Building upon a pre-trained mesh deformation network and a texture generator for original 3DMM-based realistic human faces, our approach fine-tunes these models using stylized facial images generated via text-guided image-to-image (i2i) translation with a diffusion model, which serve as stylization targets for the rendered mesh. To prevent undesired changes in identity, facial alignment, or expressions during i2i translation, we introduce a stylization method that explicitly preserves the facial attributes of the source image. By maintaining these critical attributes during image stylization, the proposed approach ensures consistent 3D style transfer across the 3DMM parameter space through image-based training. Once trained, StyleMM enables feed-forward generation of stylized face meshes with explicit control over shape, expression, and texture parameters, producing meshes with consistent vertex connectivity and animatability. Quantitative and qualitative evaluations demonstrate that our approach outperforms state-of-the-art methods in terms of identity-level facial diversity and stylization capability. The code and videos are available at [kwanyun.github.io/stylemm_page](kwanyun.github.io/stylemm_page).