テキスト誘導型3D顔合成 - 生成から編集まで

Text-Guided 3D Face Synthesis -- From Generation to Editing

December 1, 2023

著者: Yunjie Wu, Yapeng Meng, Zhipeng Hu, Lincheng Li, Haoqian Wu, Kun Zhou, Weiwei Xu, Xin Yu

cs.AI

要旨

テキストガイドによる3D顔合成は、テキストから画像（T2I）への拡散モデルを活用することで顕著な成果を上げています。しかし、既存の研究の多くは直接生成にのみ焦点を当てており、編集を無視しているため、反復的な調整を通じてカスタマイズされた3D顔を合成することが制限されています。本論文では、顔の生成から編集までを統合したテキストガイドフレームワークを提案します。生成段階では、結合による幾何学的詳細の損失を軽減するために、幾何学とテクスチャを分離した生成を提案します。さらに、分離により生成された幾何学をテクスチャ生成の条件として利用することで、幾何学とテクスチャが高度に整合した結果を得ることができます。また、RGB空間とYUV空間の両方でテクスチャ品質を向上させるために、微調整されたテクスチャ拡散モデルを採用します。編集段階では、まず事前学習済みの拡散モデルを使用して、テキストに基づいて顔の幾何学またはテクスチャを更新します。逐次編集を可能にするために、UVドメインの一貫性保持正則化を導入し、無関係な顔属性への意図しない変更を防ぎます。さらに、一貫性を保ちながら編集効果を向上させるために、自己ガイド型一貫性重み戦略を提案します。包括的な実験を通じて、本手法の顔合成における優位性を実証します。プロジェクトページ: https://faceg2e.github.io/。

English

Text-guided 3D face synthesis has achieved remarkable results by leveraging text-to-image (T2I) diffusion models. However, most existing works focus solely on the direct generation, ignoring the editing, restricting them from synthesizing customized 3D faces through iterative adjustments. In this paper, we propose a unified text-guided framework from face generation to editing. In the generation stage, we propose a geometry-texture decoupled generation to mitigate the loss of geometric details caused by coupling. Besides, decoupling enables us to utilize the generated geometry as a condition for texture generation, yielding highly geometry-texture aligned results. We further employ a fine-tuned texture diffusion model to enhance texture quality in both RGB and YUV space. In the editing stage, we first employ a pre-trained diffusion model to update facial geometry or texture based on the texts. To enable sequential editing, we introduce a UV domain consistency preservation regularization, preventing unintentional changes to irrelevant facial attributes. Besides, we propose a self-guided consistency weight strategy to improve editing efficacy while preserving consistency. Through comprehensive experiments, we showcase our method's superiority in face synthesis. Project page: https://faceg2e.github.io/.