StyleMM: Stylisiertes 3D-Morphable-Gesichtsmodell durch textgesteuerte ausgerichtete Bildübersetzung

StyleMM: Stylized 3D Morphable Face Model via Text-Driven Aligned Image Translation

August 15, 2025

papers.authors: Seungmi Lee, Kwan Yun, Junyong Noh

cs.AI

papers.abstract

Wir stellen StyleMM vor, ein neuartiges Framework, das ein stilisiertes 3D Morphable Model (3DMM) basierend auf benutzerdefinierten Textbeschreibungen, die einen Zielstil spezifizieren, konstruieren kann. Unser Ansatz baut auf einem vortrainierten Netzwerk für Mesh-Deformation und einem Texturgenerator für realistische menschliche Gesichter auf Basis des ursprünglichen 3DMM auf. Diese Modelle werden durch stilisiertes Gesichtsbildmaterial, das mittels textgesteuerter Bild-zu-Bild (i2i) Übersetzung mit einem Diffusionsmodell generiert wird, feinabgestimmt. Diese Bilder dienen als Stilisierungsziele für das gerenderte Mesh. Um unerwünschte Veränderungen der Identität, Gesichtsausrichtung oder Mimik während der i2i-Übersetzung zu verhindern, führen wir eine Stilisierungsmethode ein, die die Gesichtsattribute des Quellbilds explizit bewahrt. Durch die Beibehaltung dieser kritischen Attribute während der Bildstilisierung gewährleistet der vorgeschlagene Ansatz einen konsistenten 3D-Stiltransfer über den 3DMM-Parameterraum durch bildbasiertes Training. Nach dem Training ermöglicht StyleMM die Feedforward-Generierung von stilisierten Gesichtsmeshes mit expliziter Kontrolle über Form, Ausdruck und Texturparameter, wodurch Meshes mit konsistenter Vertex-Konnektivität und Animierbarkeit erzeugt werden. Quantitative und qualitative Auswertungen zeigen, dass unser Ansatz state-of-the-art Methoden in Bezug auf Identitätsvielfalt und Stilisierungsfähigkeit übertrifft. Der Code und Videos sind verfügbar unter [kwanyun.github.io/stylemm_page](kwanyun.github.io/stylemm_page).

English

We introduce StyleMM, a novel framework that can construct a stylized 3D Morphable Model (3DMM) based on user-defined text descriptions specifying a target style. Building upon a pre-trained mesh deformation network and a texture generator for original 3DMM-based realistic human faces, our approach fine-tunes these models using stylized facial images generated via text-guided image-to-image (i2i) translation with a diffusion model, which serve as stylization targets for the rendered mesh. To prevent undesired changes in identity, facial alignment, or expressions during i2i translation, we introduce a stylization method that explicitly preserves the facial attributes of the source image. By maintaining these critical attributes during image stylization, the proposed approach ensures consistent 3D style transfer across the 3DMM parameter space through image-based training. Once trained, StyleMM enables feed-forward generation of stylized face meshes with explicit control over shape, expression, and texture parameters, producing meshes with consistent vertex connectivity and animatability. Quantitative and qualitative evaluations demonstrate that our approach outperforms state-of-the-art methods in terms of identity-level facial diversity and stylization capability. The code and videos are available at [kwanyun.github.io/stylemm_page](kwanyun.github.io/stylemm_page).