FaceCLIPNeRF: Manipolazione 3D del Volto Guidata da Testo utilizzando Campi di Radianza Neuronali Deformabili

FaceCLIPNeRF: Text-driven 3D Face Manipulation using Deformable Neural Radiance Fields

July 21, 2023

Autori: Sungwon Hwang, Junha Hyung, Daejin Kim, Min-Jung Kim, Jaegul Choo

cs.AI

Abstract

I recenti progressi nei Neural Radiance Fields (NeRF) hanno reso possibile la ricostruzione 3D ad alta fedeltà del volto e la sintesi di nuove viste, rendendo la sua manipolazione un compito essenziale nella visione 3D. Tuttavia, i metodi di manipolazione esistenti richiedono un notevole sforzo umano, come una maschera semantica fornita dall'utente e una ricerca manuale degli attributi, risultando inadatti per utenti non esperti. Al contrario, il nostro approccio è progettato per richiedere un solo testo per manipolare un volto ricostruito con NeRF. Per fare ciò, addestriamo prima un manipolatore di scena, un NeRF deformabile condizionato da un codice latente, su una scena dinamica per controllare una deformazione del volto utilizzando il codice latente. Tuttavia, rappresentare una deformazione della scena con un singolo codice latente non è favorevole per la composizione di deformazioni locali osservate in diverse istanze. Pertanto, il nostro Position-conditional Anchor Compositor (PAC) proposto impara a rappresentare una scena manipolata con codici latenti variabili spazialmente. Le loro renderizzazioni con il manipolatore di scena vengono poi ottimizzate per ottenere un'elevata similarità coseno rispetto a un testo target nello spazio di embedding CLIP per la manipolazione guidata da testo. Per quanto ne sappiamo, il nostro approccio è il primo a affrontare la manipolazione guidata da testo di un volto ricostruito con NeRF. Risultati estesi, confronti e studi di ablazione dimostrano l'efficacia del nostro approccio.

English

As recent advances in Neural Radiance Fields (NeRF) have enabled high-fidelity 3D face reconstruction and novel view synthesis, its manipulation also became an essential task in 3D vision. However, existing manipulation methods require extensive human labor, such as a user-provided semantic mask and manual attribute search unsuitable for non-expert users. Instead, our approach is designed to require a single text to manipulate a face reconstructed with NeRF. To do so, we first train a scene manipulator, a latent code-conditional deformable NeRF, over a dynamic scene to control a face deformation using the latent code. However, representing a scene deformation with a single latent code is unfavorable for compositing local deformations observed in different instances. As so, our proposed Position-conditional Anchor Compositor (PAC) learns to represent a manipulated scene with spatially varying latent codes. Their renderings with the scene manipulator are then optimized to yield high cosine similarity to a target text in CLIP embedding space for text-driven manipulation. To the best of our knowledge, our approach is the first to address the text-driven manipulation of a face reconstructed with NeRF. Extensive results, comparisons, and ablation studies demonstrate the effectiveness of our approach.