FFaceNeRF: Редактирование лиц с использованием нейронных полей излучения на основе малого числа примеров

FFaceNeRF: Few-shot Face Editing in Neural Radiance Fields

March 21, 2025

Авторы: Kwan Yun, Chaelin Kim, Hangyeul Shin, Junyong Noh

cs.AI

Аннотация

Современные методы редактирования 3D-лиц с использованием масок демонстрируют высокое качество редактированных изображений благодаря применению нейронных полей излучения (NeRF). Несмотря на впечатляющие результаты, существующие подходы часто ограничивают контроль пользователя из-за использования предварительно обученных сегментационных масок. Для работы с масками желаемой компоновки требуется обширный набор данных для обучения, который сложно собрать. Мы представляем FFaceNeRF — метод редактирования лиц на основе NeRF, который преодолевает ограничения в контроле пользователя, связанные с использованием фиксированных компоновок масок. Наш метод использует геометрический адаптер с инъекцией признаков, что позволяет эффективно манипулировать геометрическими атрибутами. Кроме того, мы применяем латентное смешивание для аугментации три-плоскостей, что позволяет обучать модель на небольшом количестве образцов. Это способствует быстрой адаптации модели к желаемым компоновкам масок, что особенно важно для таких областей, как персонализированная медицинская визуализация или творческое редактирование лиц. Сравнительные оценки показывают, что FFaceNeRF превосходит существующие методы редактирования лиц на основе масок по гибкости, контролю и качеству генерируемых изображений, прокладывая путь для будущих достижений в области кастомизированного и высококачественного 3D-редактирования лиц. Код доступен на {https://kwanyun.github.io/FFaceNeRF_page/{странице проекта}}.

English

Recent 3D face editing methods using masks have produced high-quality edited images by leveraging Neural Radiance Fields (NeRF). Despite their impressive performance, existing methods often provide limited user control due to the use of pre-trained segmentation masks. To utilize masks with a desired layout, an extensive training dataset is required, which is challenging to gather. We present FFaceNeRF, a NeRF-based face editing technique that can overcome the challenge of limited user control due to the use of fixed mask layouts. Our method employs a geometry adapter with feature injection, allowing for effective manipulation of geometry attributes. Additionally, we adopt latent mixing for tri-plane augmentation, which enables training with a few samples. This facilitates rapid model adaptation to desired mask layouts, crucial for applications in fields like personalized medical imaging or creative face editing. Our comparative evaluations demonstrate that FFaceNeRF surpasses existing mask based face editing methods in terms of flexibility, control, and generated image quality, paving the way for future advancements in customized and high-fidelity 3D face editing. The code is available on the {https://kwanyun.github.io/FFaceNeRF_page/{project-page}}.