StyleMM: Gestileerd 3D Morphable Gezichtsmodel via Tekstgestuurde Uitgelijnde Beeldvertaling

StyleMM: Stylized 3D Morphable Face Model via Text-Driven Aligned Image Translation

August 15, 2025

Auteurs: Seungmi Lee, Kwan Yun, Junyong Noh

cs.AI

Samenvatting

We introduceren StyleMM, een nieuw framework dat een gestileerd 3D Morphable Model (3DMM) kan construeren op basis van door de gebruiker gedefinieerde tekstbeschrijvingen die een doelstijl specificeren. Gebaseerd op een vooraf getraind netwerk voor mesh-deformatie en een textuurgenerator voor originele 3DMM-gebaseerde realistische menselijke gezichten, verfijnt onze aanpak deze modellen met behulp van gestileerde gezichtsafbeeldingen die gegenereerd zijn via tekstgeleide beeld-naar-beeld (i2i) vertaling met een diffusiemodel. Deze afbeeldingen dienen als stileringsdoelen voor de gerenderde mesh. Om ongewenste veranderingen in identiteit, gezichtsuitlijning of expressies tijdens i2i-vertaling te voorkomen, introduceren we een stileringsmethode die expliciet de gezichtskenmerken van de bronafbeelding behoudt. Door deze kritieke kenmerken te behouden tijdens beeldstilering, zorgt de voorgestelde aanpak voor consistente 3D-stijloverdracht in de 3DMM-parameterruimte via beeldgebaseerde training. Eenmaal getraind, maakt StyleMM feed-forward generatie van gestileerde gezichtsmeshes mogelijk met expliciete controle over vorm, expressie en textuurparameters, wat meshes oplevert met consistente vertexconnectiviteit en animeerbaarheid. Kwantitatieve en kwalitatieve evaluaties tonen aan dat onze aanpak state-of-the-art methoden overtreft op het gebied van identiteitsniveau gezichtsdiversiteit en stileringsvermogen. De code en video's zijn beschikbaar op [kwanyun.github.io/stylemm_page](kwanyun.github.io/stylemm_page).

English

We introduce StyleMM, a novel framework that can construct a stylized 3D Morphable Model (3DMM) based on user-defined text descriptions specifying a target style. Building upon a pre-trained mesh deformation network and a texture generator for original 3DMM-based realistic human faces, our approach fine-tunes these models using stylized facial images generated via text-guided image-to-image (i2i) translation with a diffusion model, which serve as stylization targets for the rendered mesh. To prevent undesired changes in identity, facial alignment, or expressions during i2i translation, we introduce a stylization method that explicitly preserves the facial attributes of the source image. By maintaining these critical attributes during image stylization, the proposed approach ensures consistent 3D style transfer across the 3DMM parameter space through image-based training. Once trained, StyleMM enables feed-forward generation of stylized face meshes with explicit control over shape, expression, and texture parameters, producing meshes with consistent vertex connectivity and animatability. Quantitative and qualitative evaluations demonstrate that our approach outperforms state-of-the-art methods in terms of identity-level facial diversity and stylization capability. The code and videos are available at [kwanyun.github.io/stylemm_page](kwanyun.github.io/stylemm_page).