StyleMM: Modelo 3D Morfológico de Rosto Estilizado via Tradução de Imagens Alinhadas Orientada por Texto

StyleMM: Stylized 3D Morphable Face Model via Text-Driven Aligned Image Translation

August 15, 2025

Autores: Seungmi Lee, Kwan Yun, Junyong Noh

cs.AI

Resumo

Apresentamos o StyleMM, uma nova estrutura capaz de construir um Modelo Morfológico 3D (3DMM) estilizado com base em descrições textuais definidas pelo usuário que especificam um estilo alvo. Com base em uma rede de deformação de malha pré-treinada e um gerador de texturas para faces humanas realistas baseadas em 3DMM originais, nossa abordagem ajusta esses modelos utilizando imagens faciais estilizadas geradas por meio de tradução de imagem para imagem (i2i) guiada por texto com um modelo de difusão, que servem como alvos de estilização para a malha renderizada. Para evitar alterações indesejadas na identidade, alinhamento facial ou expressões durante a tradução i2i, introduzimos um método de estilização que preserva explicitamente os atributos faciais da imagem de origem. Ao manter esses atributos críticos durante a estilização da imagem, a abordagem proposta garante uma transferência de estilo 3D consistente em todo o espaço de parâmetros do 3DMM por meio de treinamento baseado em imagem. Uma vez treinado, o StyleMM permite a geração direta de malhas faciais estilizadas com controle explícito sobre os parâmetros de forma, expressão e textura, produzindo malhas com conectividade de vértices e animabilidade consistentes. Avaliações quantitativas e qualitativas demonstram que nossa abordagem supera os métodos mais avançados em termos de diversidade facial no nível de identidade e capacidade de estilização. O código e os vídeos estão disponíveis em [kwanyun.github.io/stylemm_page](kwanyun.github.io/stylemm_page).

English

We introduce StyleMM, a novel framework that can construct a stylized 3D Morphable Model (3DMM) based on user-defined text descriptions specifying a target style. Building upon a pre-trained mesh deformation network and a texture generator for original 3DMM-based realistic human faces, our approach fine-tunes these models using stylized facial images generated via text-guided image-to-image (i2i) translation with a diffusion model, which serve as stylization targets for the rendered mesh. To prevent undesired changes in identity, facial alignment, or expressions during i2i translation, we introduce a stylization method that explicitly preserves the facial attributes of the source image. By maintaining these critical attributes during image stylization, the proposed approach ensures consistent 3D style transfer across the 3DMM parameter space through image-based training. Once trained, StyleMM enables feed-forward generation of stylized face meshes with explicit control over shape, expression, and texture parameters, producing meshes with consistent vertex connectivity and animatability. Quantitative and qualitative evaluations demonstrate that our approach outperforms state-of-the-art methods in terms of identity-level facial diversity and stylization capability. The code and videos are available at [kwanyun.github.io/stylemm_page](kwanyun.github.io/stylemm_page).