FFaceNeRF: Edição de Rostos com Poucos Exemplos em Campos de Radiação Neural

FFaceNeRF: Few-shot Face Editing in Neural Radiance Fields

March 21, 2025

Autores: Kwan Yun, Chaelin Kim, Hangyeul Shin, Junyong Noh

cs.AI

Resumo

Métodos recentes de edição facial 3D utilizando máscaras têm produzido imagens editadas de alta qualidade ao aproveitar os Campos de Radiação Neural (NeRF). Apesar de seu desempenho impressionante, os métodos existentes frequentemente oferecem controle limitado ao usuário devido ao uso de máscaras de segmentação pré-treinadas. Para utilizar máscaras com um layout desejado, é necessário um extenso conjunto de dados de treinamento, o que é desafiador de reunir. Apresentamos o FFaceNeRF, uma técnica de edição facial baseada em NeRF que supera o desafio do controle limitado do usuário devido ao uso de layouts de máscaras fixos. Nosso método emprega um adaptador de geometria com injeção de características, permitindo a manipulação eficaz de atributos geométricos. Além disso, adotamos a mistura latente para a ampliação de tri-planos, o que possibilita o treinamento com poucas amostras. Isso facilita a rápida adaptação do modelo a layouts de máscaras desejados, crucial para aplicações em áreas como imagens médicas personalizadas ou edição facial criativa. Nossas avaliações comparativas demonstram que o FFaceNeRF supera os métodos existentes de edição facial baseados em máscaras em termos de flexibilidade, controle e qualidade da imagem gerada, abrindo caminho para avanços futuros em edição facial 3D personalizada e de alta fidelidade. O código está disponível na {https://kwanyun.github.io/FFaceNeRF_page/{página-do-projeto}}.

English

Recent 3D face editing methods using masks have produced high-quality edited images by leveraging Neural Radiance Fields (NeRF). Despite their impressive performance, existing methods often provide limited user control due to the use of pre-trained segmentation masks. To utilize masks with a desired layout, an extensive training dataset is required, which is challenging to gather. We present FFaceNeRF, a NeRF-based face editing technique that can overcome the challenge of limited user control due to the use of fixed mask layouts. Our method employs a geometry adapter with feature injection, allowing for effective manipulation of geometry attributes. Additionally, we adopt latent mixing for tri-plane augmentation, which enables training with a few samples. This facilitates rapid model adaptation to desired mask layouts, crucial for applications in fields like personalized medical imaging or creative face editing. Our comparative evaluations demonstrate that FFaceNeRF surpasses existing mask based face editing methods in terms of flexibility, control, and generated image quality, paving the way for future advancements in customized and high-fidelity 3D face editing. The code is available on the {https://kwanyun.github.io/FFaceNeRF_page/{project-page}}.