FFaceNeRF: 신경 방사 필드에서의 소수 샷 얼굴 편집

FFaceNeRF: Few-shot Face Editing in Neural Radiance Fields

March 21, 2025

저자: Kwan Yun, Chaelin Kim, Hangyeul Shin, Junyong Noh

cs.AI

초록

최근 마스크를 활용한 3D 얼굴 편집 방법들은 Neural Radiance Fields(NeRF)를 활용하여 고품질의 편집된 이미지를 생성해 왔습니다. 이러한 인상적인 성능에도 불구하고, 기존 방법들은 사전 훈련된 세그멘테이션 마스크를 사용함으로써 제한된 사용자 제어를 제공하는 경우가 많습니다. 원하는 레이아웃의 마스크를 활용하기 위해서는 방대한 양의 훈련 데이터셋이 필요하지만, 이를 수집하는 것은 어려운 과제입니다. 본 논문에서는 고정된 마스크 레이아웃 사용으로 인한 제한된 사용자 제어 문제를 극복할 수 있는 NeRF 기반 얼굴 편집 기술인 FFaceNeRF를 제안합니다. 우리의 방법은 특징 주입을 통한 지오메트리 어댑터를 사용하여 지오메트리 속성을 효과적으로 조작할 수 있도록 합니다. 또한, 적은 수의 샘플로도 훈련이 가능하도록 트라이플레인 증강을 위한 잠재 혼합(latent mixing)을 채택했습니다. 이는 맞춤형 의료 영상이나 창의적인 얼굴 편집과 같은 분야에서 응용하기 위해 원하는 마스크 레이아웃에 빠르게 모델을 적응시키는 데 중요한 요소입니다. 비교 평가 결과, FFaceNeRF는 유연성, 제어력, 생성된 이미지 품질 측면에서 기존의 마스크 기반 얼굴 편집 방법들을 능가하며, 맞춤형 및 고품질 3D 얼굴 편집의 미래 발전을 위한 길을 열어줍니다. 코드는 {https://kwanyun.github.io/FFaceNeRF_page/{프로젝트 페이지}}에서 확인할 수 있습니다.

English

Recent 3D face editing methods using masks have produced high-quality edited images by leveraging Neural Radiance Fields (NeRF). Despite their impressive performance, existing methods often provide limited user control due to the use of pre-trained segmentation masks. To utilize masks with a desired layout, an extensive training dataset is required, which is challenging to gather. We present FFaceNeRF, a NeRF-based face editing technique that can overcome the challenge of limited user control due to the use of fixed mask layouts. Our method employs a geometry adapter with feature injection, allowing for effective manipulation of geometry attributes. Additionally, we adopt latent mixing for tri-plane augmentation, which enables training with a few samples. This facilitates rapid model adaptation to desired mask layouts, crucial for applications in fields like personalized medical imaging or creative face editing. Our comparative evaluations demonstrate that FFaceNeRF surpasses existing mask based face editing methods in terms of flexibility, control, and generated image quality, paving the way for future advancements in customized and high-fidelity 3D face editing. The code is available on the {https://kwanyun.github.io/FFaceNeRF_page/{project-page}}.