FFaceNeRF: Few-shot Face Bewerking in Neural Radiance Velden

FFaceNeRF: Few-shot Face Editing in Neural Radiance Fields

March 21, 2025

Auteurs: Kwan Yun, Chaelin Kim, Hangyeul Shin, Junyong Noh

cs.AI

Samenvatting

Recente 3D-gezichtsbewerkingsmethoden die maskers gebruiken, hebben hoogwaardige bewerkte afbeeldingen geproduceerd door gebruik te maken van Neural Radiance Fields (NeRF). Ondanks hun indrukwekkende prestaties bieden bestaande methoden vaak beperkte gebruikerscontrole vanwege het gebruik van vooraf getrainde segmentatiemaskers. Om maskers met een gewenste lay-out te kunnen gebruiken, is een uitgebreide trainingsdataset nodig, wat moeilijk te verzamelen is. Wij presenteren FFaceNeRF, een NeRF-gebaseerde gezichtsbewerkingstechniek die de uitdaging van beperkte gebruikerscontrole door het gebruik van vaste maskerlay-outs kan overwinnen. Onze methode maakt gebruik van een geometrie-adapter met feature-injectie, waardoor effectieve manipulatie van geometrie-attributen mogelijk is. Daarnaast passen we latent mixing toe voor tri-plane-augmentatie, wat training met weinig samples mogelijk maakt. Dit vergemakkelijkt snelle modelaanpassing aan gewenste maskerlay-outs, wat cruciaal is voor toepassingen in gebieden zoals gepersonaliseerde medische beeldvorming of creatieve gezichtsbewerking. Onze vergelijkende evaluaties tonen aan dat FFaceNeRF bestaande masker-gebaseerde gezichtsbewerkingsmethoden overtreft op het gebied van flexibiliteit, controle en gegenereerde beeldkwaliteit, wat de weg vrijmaakt voor toekomstige vooruitgang in gepersonaliseerde en hoogwaardige 3D-gezichtsbewerking. De code is beschikbaar op de {https://kwanyun.github.io/FFaceNeRF_page/{project-page}}.

English

Recent 3D face editing methods using masks have produced high-quality edited images by leveraging Neural Radiance Fields (NeRF). Despite their impressive performance, existing methods often provide limited user control due to the use of pre-trained segmentation masks. To utilize masks with a desired layout, an extensive training dataset is required, which is challenging to gather. We present FFaceNeRF, a NeRF-based face editing technique that can overcome the challenge of limited user control due to the use of fixed mask layouts. Our method employs a geometry adapter with feature injection, allowing for effective manipulation of geometry attributes. Additionally, we adopt latent mixing for tri-plane augmentation, which enables training with a few samples. This facilitates rapid model adaptation to desired mask layouts, crucial for applications in fields like personalized medical imaging or creative face editing. Our comparative evaluations demonstrate that FFaceNeRF surpasses existing mask based face editing methods in terms of flexibility, control, and generated image quality, paving the way for future advancements in customized and high-fidelity 3D face editing. The code is available on the {https://kwanyun.github.io/FFaceNeRF_page/{project-page}}.