StyleMM: テキスト駆動型整列画像変換によるスタイライズド3Dモーファブルフェイスモデル

StyleMM: Stylized 3D Morphable Face Model via Text-Driven Aligned Image Translation

August 15, 2025

著者: Seungmi Lee, Kwan Yun, Junyong Noh

cs.AI

要旨

本論文では、ユーザーが指定したテキスト記述に基づいてスタイライズされた3D Morphable Model（3DMM）を構築する新しいフレームワークであるStyleMMを紹介する。提案手法は、事前に学習されたメッシュ変形ネットワークと、元の3DMMに基づくリアルな人間の顔を生成するテクスチャジェネレータを基盤としており、拡散モデルを用いたテキストガイド付き画像間変換（i2i）によって生成されたスタイライズされた顔画像を、レンダリングされたメッシュのスタイライゼーション目標として使用し、これらのモデルを微調整する。i2i変換中にアイデンティティ、顔のアライメント、または表情が意図せず変化するのを防ぐため、ソース画像の顔属性を明示的に保存するスタイライゼーション手法を導入する。画像スタイライゼーション中にこれらの重要な属性を維持することにより、提案手法は画像ベースの学習を通じて3DMMパラメータ空間全体で一貫した3Dスタイル転送を実現する。一度学習されると、StyleMMは形状、表情、およびテクスチャパラメータを明示的に制御しながら、スタイライズされた顔メッシュをフィードフォワード生成することができ、一貫した頂点接続性とアニメーション性を持つメッシュを生成する。定量的および定性的な評価により、提案手法がアイデンティティレベルの顔の多様性とスタイライゼーション能力において最先端の手法を上回ることが示されている。コードとビデオは[kwanyun.github.io/stylemm_page](kwanyun.github.io/stylemm_page)で公開されている。

English

We introduce StyleMM, a novel framework that can construct a stylized 3D Morphable Model (3DMM) based on user-defined text descriptions specifying a target style. Building upon a pre-trained mesh deformation network and a texture generator for original 3DMM-based realistic human faces, our approach fine-tunes these models using stylized facial images generated via text-guided image-to-image (i2i) translation with a diffusion model, which serve as stylization targets for the rendered mesh. To prevent undesired changes in identity, facial alignment, or expressions during i2i translation, we introduce a stylization method that explicitly preserves the facial attributes of the source image. By maintaining these critical attributes during image stylization, the proposed approach ensures consistent 3D style transfer across the 3DMM parameter space through image-based training. Once trained, StyleMM enables feed-forward generation of stylized face meshes with explicit control over shape, expression, and texture parameters, producing meshes with consistent vertex connectivity and animatability. Quantitative and qualitative evaluations demonstrate that our approach outperforms state-of-the-art methods in terms of identity-level facial diversity and stylization capability. The code and videos are available at [kwanyun.github.io/stylemm_page](kwanyun.github.io/stylemm_page).