FFaceNeRF: ニューラルラジアンスフィールドにおけるFew-shot顔編集

FFaceNeRF: Few-shot Face Editing in Neural Radiance Fields

March 21, 2025

著者: Kwan Yun, Chaelin Kim, Hangyeul Shin, Junyong Noh

cs.AI

要旨

最近の3D顔編集手法では、マスクを使用しつつNeural Radiance Fields (NeRF)を活用することで、高品質な編集画像を生成しています。しかし、既存の手法は事前学習済みのセグメンテーションマスクを使用するため、ユーザーコントロールが制限されることが多いです。所望のレイアウトを持つマスクを利用するためには、大規模なトレーニングデータセットが必要ですが、これを収集するのは困難です。本論文では、固定されたマスクレイアウトによるユーザーコントロールの制限を克服するNeRFベースの顔編集技術「FFaceNeRF」を提案します。本手法は、ジオメトリ属性を効果的に操作するための特徴注入を備えたジオメトリアダプタを採用しています。さらに、トライプレーン拡張のための潜在混合を採用し、少数のサンプルでトレーニングを可能にします。これにより、パーソナライズされた医療画像や創造的な顔編集などの分野での応用に不可欠な、所望のマスクレイアウトへの迅速なモデル適応が可能になります。比較評価の結果、FFaceNeRFは既存のマスクベースの顔編集手法を柔軟性、コントロール性、生成画像品質の点で凌駕し、カスタマイズされた高忠実度3D顔編集の将来の発展に道を開くことを示しています。コードは{https://kwanyun.github.io/FFaceNeRF_page/{プロジェクトページ}}で公開されています。

English

Recent 3D face editing methods using masks have produced high-quality edited images by leveraging Neural Radiance Fields (NeRF). Despite their impressive performance, existing methods often provide limited user control due to the use of pre-trained segmentation masks. To utilize masks with a desired layout, an extensive training dataset is required, which is challenging to gather. We present FFaceNeRF, a NeRF-based face editing technique that can overcome the challenge of limited user control due to the use of fixed mask layouts. Our method employs a geometry adapter with feature injection, allowing for effective manipulation of geometry attributes. Additionally, we adopt latent mixing for tri-plane augmentation, which enables training with a few samples. This facilitates rapid model adaptation to desired mask layouts, crucial for applications in fields like personalized medical imaging or creative face editing. Our comparative evaluations demonstrate that FFaceNeRF surpasses existing mask based face editing methods in terms of flexibility, control, and generated image quality, paving the way for future advancements in customized and high-fidelity 3D face editing. The code is available on the {https://kwanyun.github.io/FFaceNeRF_page/{project-page}}.