FFaceNeRF : Édition de visages en quelques clichés dans les champs de rayonnement neuronaux

FFaceNeRF: Few-shot Face Editing in Neural Radiance Fields

March 21, 2025

Auteurs: Kwan Yun, Chaelin Kim, Hangyeul Shin, Junyong Noh

cs.AI

Résumé

Les méthodes récentes d'édition 3D de visages utilisant des masques ont produit des images éditées de haute qualité en exploitant les champs de radiance neuronaux (NeRF). Malgré leurs performances impressionnantes, les méthodes existantes offrent souvent un contrôle utilisateur limité en raison de l'utilisation de masques de segmentation pré-entraînés. Pour utiliser des masques avec une disposition souhaitée, un ensemble de données d'entraînement étendu est nécessaire, ce qui est difficile à rassembler. Nous présentons FFaceNeRF, une technique d'édition de visage basée sur NeRF qui peut surmonter le défi du contrôle utilisateur limité dû à l'utilisation de dispositions de masques fixes. Notre méthode utilise un adaptateur de géométrie avec injection de caractéristiques, permettant une manipulation efficace des attributs géométriques. De plus, nous adoptons un mélange latent pour l'augmentation de tri-plan, ce qui permet un entraînement avec peu d'échantillons. Cela facilite une adaptation rapide du modèle aux dispositions de masques souhaitées, cruciale pour des applications dans des domaines comme l'imagerie médicale personnalisée ou l'édition créative de visages. Nos évaluations comparatives démontrent que FFaceNeRF surpasse les méthodes existantes d'édition de visage basées sur des masques en termes de flexibilité, de contrôle et de qualité des images générées, ouvrant la voie à des avancées futures dans l'édition 3D de visages personnalisée et haute fidélité. Le code est disponible sur la {https://kwanyun.github.io/FFaceNeRF_page/{page du projet}}.

English

Recent 3D face editing methods using masks have produced high-quality edited images by leveraging Neural Radiance Fields (NeRF). Despite their impressive performance, existing methods often provide limited user control due to the use of pre-trained segmentation masks. To utilize masks with a desired layout, an extensive training dataset is required, which is challenging to gather. We present FFaceNeRF, a NeRF-based face editing technique that can overcome the challenge of limited user control due to the use of fixed mask layouts. Our method employs a geometry adapter with feature injection, allowing for effective manipulation of geometry attributes. Additionally, we adopt latent mixing for tri-plane augmentation, which enables training with a few samples. This facilitates rapid model adaptation to desired mask layouts, crucial for applications in fields like personalized medical imaging or creative face editing. Our comparative evaluations demonstrate that FFaceNeRF surpasses existing mask based face editing methods in terms of flexibility, control, and generated image quality, paving the way for future advancements in customized and high-fidelity 3D face editing. The code is available on the {https://kwanyun.github.io/FFaceNeRF_page/{project-page}}.