StyleMM : Modèle Morphable 3D Stylisé de Visage via Traduction d'Image Alignée Pilotée par Texte

StyleMM: Stylized 3D Morphable Face Model via Text-Driven Aligned Image Translation

August 15, 2025

papers.authors: Seungmi Lee, Kwan Yun, Junyong Noh

cs.AI

papers.abstract

Nous présentons StyleMM, un nouveau cadre capable de construire un modèle morphable 3D (3DMM) stylisé basé sur des descriptions textuelles définies par l'utilisateur spécifiant un style cible. En s'appuyant sur un réseau de déformation de maillage pré-entraîné et un générateur de texture pour des visages humains réalistes basés sur 3DMM, notre approche affine ces modèles en utilisant des images faciales stylisées générées via une traduction image-à-image (i2i) guidée par texte avec un modèle de diffusion, qui servent de cibles de stylisation pour le maillage rendu. Pour éviter des modifications indésirables de l'identité, de l'alignement facial ou des expressions pendant la traduction i2i, nous introduisons une méthode de stylisation qui préserve explicitement les attributs faciaux de l'image source. En maintenant ces attributs critiques pendant la stylisation d'image, l'approche proposée assure un transfert de style 3D cohérent à travers l'espace des paramètres 3DMM via un entraînement basé sur l'image. Une fois entraîné, StyleMM permet la génération en feed-forward de maillages de visages stylisés avec un contrôle explicite sur les paramètres de forme, d'expression et de texture, produisant des maillages avec une connectivité de vertex cohérente et une capacité d'animation. Les évaluations quantitatives et qualitatives démontrent que notre approche surpasse les méthodes de pointe en termes de diversité faciale au niveau de l'identité et de capacité de stylisation. Le code et les vidéos sont disponibles sur [kwanyun.github.io/stylemm_page](kwanyun.github.io/stylemm_page).

English

We introduce StyleMM, a novel framework that can construct a stylized 3D Morphable Model (3DMM) based on user-defined text descriptions specifying a target style. Building upon a pre-trained mesh deformation network and a texture generator for original 3DMM-based realistic human faces, our approach fine-tunes these models using stylized facial images generated via text-guided image-to-image (i2i) translation with a diffusion model, which serve as stylization targets for the rendered mesh. To prevent undesired changes in identity, facial alignment, or expressions during i2i translation, we introduce a stylization method that explicitly preserves the facial attributes of the source image. By maintaining these critical attributes during image stylization, the proposed approach ensures consistent 3D style transfer across the 3DMM parameter space through image-based training. Once trained, StyleMM enables feed-forward generation of stylized face meshes with explicit control over shape, expression, and texture parameters, producing meshes with consistent vertex connectivity and animatability. Quantitative and qualitative evaluations demonstrate that our approach outperforms state-of-the-art methods in terms of identity-level facial diversity and stylization capability. The code and videos are available at [kwanyun.github.io/stylemm_page](kwanyun.github.io/stylemm_page).