FFaceNeRF: Edición de rostros con pocas muestras en campos de radiancia neural

FFaceNeRF: Few-shot Face Editing in Neural Radiance Fields

March 21, 2025

Autores: Kwan Yun, Chaelin Kim, Hangyeul Shin, Junyong Noh

cs.AI

Resumen

Los métodos recientes de edición facial 3D que utilizan máscaras han producido imágenes editadas de alta calidad aprovechando los Campos de Radiancia Neural (NeRF). A pesar de su rendimiento impresionante, los métodos existentes suelen ofrecer un control limitado al usuario debido al uso de máscaras de segmentación preentrenadas. Para utilizar máscaras con un diseño deseado, se requiere un extenso conjunto de datos de entrenamiento, lo cual es difícil de recopilar. Presentamos FFaceNeRF, una técnica de edición facial basada en NeRF que supera el desafío del control limitado del usuario debido al uso de diseños de máscaras fijos. Nuestro método emplea un adaptador de geometría con inyección de características, permitiendo una manipulación efectiva de los atributos geométricos. Además, adoptamos la mezcla latente para la ampliación de tri-planos, lo que permite el entrenamiento con pocas muestras. Esto facilita una rápida adaptación del modelo a los diseños de máscaras deseados, crucial para aplicaciones en campos como la imagen médica personalizada o la edición creativa de rostros. Nuestras evaluaciones comparativas demuestran que FFaceNeRF supera a los métodos existentes de edición facial basados en máscaras en términos de flexibilidad, control y calidad de las imágenes generadas, allanando el camino para futuros avances en la edición facial 3D personalizada y de alta fidelidad. El código está disponible en la {https://kwanyun.github.io/FFaceNeRF_page/{página-del-proyecto}}.

English

Recent 3D face editing methods using masks have produced high-quality edited images by leveraging Neural Radiance Fields (NeRF). Despite their impressive performance, existing methods often provide limited user control due to the use of pre-trained segmentation masks. To utilize masks with a desired layout, an extensive training dataset is required, which is challenging to gather. We present FFaceNeRF, a NeRF-based face editing technique that can overcome the challenge of limited user control due to the use of fixed mask layouts. Our method employs a geometry adapter with feature injection, allowing for effective manipulation of geometry attributes. Additionally, we adopt latent mixing for tri-plane augmentation, which enables training with a few samples. This facilitates rapid model adaptation to desired mask layouts, crucial for applications in fields like personalized medical imaging or creative face editing. Our comparative evaluations demonstrate that FFaceNeRF surpasses existing mask based face editing methods in terms of flexibility, control, and generated image quality, paving the way for future advancements in customized and high-fidelity 3D face editing. The code is available on the {https://kwanyun.github.io/FFaceNeRF_page/{project-page}}.