FFaceNeRF: Modifica del volto con pochi esempi nei campi di radianza neurale

FFaceNeRF: Few-shot Face Editing in Neural Radiance Fields

March 21, 2025

Autori: Kwan Yun, Chaelin Kim, Hangyeul Shin, Junyong Noh

cs.AI

Abstract

I recenti metodi di editing 3D del volto che utilizzano maschere hanno prodotto immagini modificate di alta qualità sfruttando i Neural Radiance Fields (NeRF). Nonostante le prestazioni impressionanti, i metodi esistenti spesso offrono un controllo limitato all'utente a causa dell'uso di maschere di segmentazione pre-addestrate. Per utilizzare maschere con un layout desiderato, è necessario un ampio dataset di addestramento, che è difficile da raccogliere. Presentiamo FFaceNeRF, una tecnica di editing del volto basata su NeRF che può superare la sfida del controllo limitato dell'utente dovuto all'uso di layout di maschere fissi. Il nostro metodo impiega un adattatore geometrico con iniezione di feature, consentendo una manipolazione efficace degli attributi geometrici. Inoltre, adottiamo il mixing latente per l'aumento del tri-plane, che permette l'addestramento con pochi campioni. Ciò facilita un rapido adattamento del modello ai layout di maschere desiderati, cruciale per applicazioni in campi come l'imaging medico personalizzato o l'editing creativo del volto. Le nostre valutazioni comparative dimostrano che FFaceNeRF supera i metodi esistenti di editing del volto basati su maschere in termini di flessibilità, controllo e qualità delle immagini generate, aprendo la strada a futuri progressi nell'editing 3D del volto personalizzato e ad alta fedeltà. Il codice è disponibile sulla {https://kwanyun.github.io/FFaceNeRF_page/{pagina-del-progetto}}.

English

Recent 3D face editing methods using masks have produced high-quality edited images by leveraging Neural Radiance Fields (NeRF). Despite their impressive performance, existing methods often provide limited user control due to the use of pre-trained segmentation masks. To utilize masks with a desired layout, an extensive training dataset is required, which is challenging to gather. We present FFaceNeRF, a NeRF-based face editing technique that can overcome the challenge of limited user control due to the use of fixed mask layouts. Our method employs a geometry adapter with feature injection, allowing for effective manipulation of geometry attributes. Additionally, we adopt latent mixing for tri-plane augmentation, which enables training with a few samples. This facilitates rapid model adaptation to desired mask layouts, crucial for applications in fields like personalized medical imaging or creative face editing. Our comparative evaluations demonstrate that FFaceNeRF surpasses existing mask based face editing methods in terms of flexibility, control, and generated image quality, paving the way for future advancements in customized and high-fidelity 3D face editing. The code is available on the {https://kwanyun.github.io/FFaceNeRF_page/{project-page}}.