StyleMM: Modello 3D Morfabile di Volto Stilizzato tramite Traduzione di Immagini Allineate Guidata da Testo

StyleMM: Stylized 3D Morphable Face Model via Text-Driven Aligned Image Translation

August 15, 2025

Autori: Seungmi Lee, Kwan Yun, Junyong Noh

cs.AI

Abstract

Introduciamo StyleMM, un nuovo framework in grado di costruire un Morphable Model 3D (3DMM) stilizzato basato su descrizioni testuali definite dall'utente che specificano uno stile target. Basandoci su una rete pre-addestrata per la deformazione di mesh e un generatore di texture per volti umani realistici basati su 3DMM, il nostro approccio ottimizza questi modelli utilizzando immagini facciali stilizzate generate tramite traduzione immagine-immagine (i2i) guidata da testo con un modello di diffusione, che fungono da target di stilizzazione per la mesh renderizzata. Per prevenire modifiche indesiderate nell'identità, nell'allineamento facciale o nelle espressioni durante la traduzione i2i, introduciamo un metodo di stilizzazione che preserva esplicitamente gli attributi facciali dell'immagine sorgente. Mantenendo questi attributi critici durante la stilizzazione dell'immagine, l'approccio proposto garantisce un trasferimento di stile 3D coerente nello spazio dei parametri del 3DMM attraverso l'addestramento basato su immagini. Una volta addestrato, StyleMM consente la generazione in feed-forward di mesh facciali stilizzate con controllo esplicito sui parametri di forma, espressione e texture, producendo mesh con connettività dei vertici e animabilità coerenti. Valutazioni quantitative e qualitative dimostrano che il nostro approccio supera i metodi all'avanguardia in termini di diversità facciale a livello di identità e capacità di stilizzazione. Il codice e i video sono disponibili su [kwanyun.github.io/stylemm_page](kwanyun.github.io/stylemm_page).

English

We introduce StyleMM, a novel framework that can construct a stylized 3D Morphable Model (3DMM) based on user-defined text descriptions specifying a target style. Building upon a pre-trained mesh deformation network and a texture generator for original 3DMM-based realistic human faces, our approach fine-tunes these models using stylized facial images generated via text-guided image-to-image (i2i) translation with a diffusion model, which serve as stylization targets for the rendered mesh. To prevent undesired changes in identity, facial alignment, or expressions during i2i translation, we introduce a stylization method that explicitly preserves the facial attributes of the source image. By maintaining these critical attributes during image stylization, the proposed approach ensures consistent 3D style transfer across the 3DMM parameter space through image-based training. Once trained, StyleMM enables feed-forward generation of stylized face meshes with explicit control over shape, expression, and texture parameters, producing meshes with consistent vertex connectivity and animatability. Quantitative and qualitative evaluations demonstrate that our approach outperforms state-of-the-art methods in terms of identity-level facial diversity and stylization capability. The code and videos are available at [kwanyun.github.io/stylemm_page](kwanyun.github.io/stylemm_page).