FaceCLIPNeRF: Textgesteuerte 3D-Gesichtsmanipulation mit deformierbaren neuronalen Strahlungsfeldern

FaceCLIPNeRF: Text-driven 3D Face Manipulation using Deformable Neural Radiance Fields

July 21, 2023

Autoren: Sungwon Hwang, Junha Hyung, Daejin Kim, Min-Jung Kim, Jaegul Choo

cs.AI

Zusammenfassung

Da die jüngsten Fortschritte bei Neural Radiance Fields (NeRF) hochauflösende 3D-Gesichtsrekonstruktionen und die Synthese neuer Ansichten ermöglicht haben, ist deren Manipulation ebenfalls zu einer wesentlichen Aufgabe in der 3D-Vision geworden. Bisherige Manipulationsmethoden erfordern jedoch einen erheblichen manuellen Aufwand, wie beispielsweise eine vom Benutzer bereitgestellte semantische Maske und eine manuelle Attributsuche, die für nicht-experimentierte Benutzer ungeeignet ist. Unser Ansatz hingegen ist darauf ausgelegt, lediglich einen einzigen Text zu benötigen, um ein mit NeRF rekonstruiertes Gesicht zu manipulieren. Dazu trainieren wir zunächst einen Szenenmanipulator, ein latentcode-bedingtes deformierbares NeRF, über eine dynamische Szene, um eine Gesichtsdeformation mithilfe des latenten Codes zu steuern. Die Darstellung einer Szenendeformation mit einem einzigen latenten Code ist jedoch für die Komposition lokaler Deformationen, die in verschiedenen Instanzen beobachtet werden, ungünstig. Daher lernt unser vorgeschlagener Position-conditional Anchor Compositor (PAC), eine manipulierte Szene mit räumlich variierenden latenten Codes darzustellen. Deren Renderings mit dem Szenenmanipulator werden anschließend optimiert, um eine hohe Kosinusähnlichkeit zu einem Zieltext im CLIP-Einbettungsraum für die textgesteuerte Manipulation zu erzielen. Nach unserem Wissen ist unser Ansatz der erste, der die textgesteuerte Manipulation eines mit NeRF rekonstruierten Gesichts behandelt. Umfangreiche Ergebnisse, Vergleiche und Ablationsstudien demonstrieren die Wirksamkeit unseres Ansatzes.

English

As recent advances in Neural Radiance Fields (NeRF) have enabled high-fidelity 3D face reconstruction and novel view synthesis, its manipulation also became an essential task in 3D vision. However, existing manipulation methods require extensive human labor, such as a user-provided semantic mask and manual attribute search unsuitable for non-expert users. Instead, our approach is designed to require a single text to manipulate a face reconstructed with NeRF. To do so, we first train a scene manipulator, a latent code-conditional deformable NeRF, over a dynamic scene to control a face deformation using the latent code. However, representing a scene deformation with a single latent code is unfavorable for compositing local deformations observed in different instances. As so, our proposed Position-conditional Anchor Compositor (PAC) learns to represent a manipulated scene with spatially varying latent codes. Their renderings with the scene manipulator are then optimized to yield high cosine similarity to a target text in CLIP embedding space for text-driven manipulation. To the best of our knowledge, our approach is the first to address the text-driven manipulation of a face reconstructed with NeRF. Extensive results, comparisons, and ablation studies demonstrate the effectiveness of our approach.