Aspetto Dinamico Controllabile per Ritratti Neurali 3D

Abstract

I recenti progressi nei Neural Radiance Fields (NeRF) hanno reso possibile ricostruire e rianimare scene di ritratti dinamici con controllo su posizione della testa, espressioni facciali e direzione di visualizzazione. Tuttavia, l'addestramento di tali modelli presuppone una consistenza fotometrica sulla regione deformata, ad esempio il viso deve essere uniformemente illuminato mentre si deforma con il cambiamento della posizione della testa e delle espressioni facciali. Tale consistenza fotometrica tra i fotogrammi di un video è difficile da mantenere, anche in ambienti da studio, rendendo così i ritratti neurali rianimabili soggetti ad artefatti durante la rianimazione. In questo lavoro, proponiamo CoDyNeRF, un sistema che consente la creazione di ritratti 3D completamente controllabili in condizioni di acquisizione del mondo reale. CoDyNeRF impara ad approssimare gli effetti dipendenti dall'illuminazione attraverso un modello di aspetto dinamico nello spazio canonico che è condizionato dalle normali di superficie previste e dalle deformazioni delle espressioni facciali e della posizione della testa. La previsione delle normali di superficie è guidata utilizzando le normali 3DMM che fungono da prior approssimativo per le normali della testa umana, dove la previsione diretta delle normali è difficile a causa delle deformazioni rigide e non rigide indotte dai cambiamenti della posizione della testa e delle espressioni facciali. Utilizzando solo un breve video catturato con uno smartphone di un soggetto per l'addestramento, dimostriamo l'efficacia del nostro metodo sulla sintesi di visualizzazione libera di una scena di ritratto con controlli espliciti della posizione della testa e delle espressioni, e effetti di illuminazione realistici. La pagina del progetto può essere trovata qui: http://shahrukhathar.github.io/2023/08/22/CoDyNeRF.html

English

Recent advances in Neural Radiance Fields (NeRFs) have made it possible to reconstruct and reanimate dynamic portrait scenes with control over head-pose, facial expressions and viewing direction. However, training such models assumes photometric consistency over the deformed region e.g. the face must be evenly lit as it deforms with changing head-pose and facial expression. Such photometric consistency across frames of a video is hard to maintain, even in studio environments, thus making the created reanimatable neural portraits prone to artifacts during reanimation. In this work, we propose CoDyNeRF, a system that enables the creation of fully controllable 3D portraits in real-world capture conditions. CoDyNeRF learns to approximate illumination dependent effects via a dynamic appearance model in the canonical space that is conditioned on predicted surface normals and the facial expressions and head-pose deformations. The surface normals prediction is guided using 3DMM normals that act as a coarse prior for the normals of the human head, where direct prediction of normals is hard due to rigid and non-rigid deformations induced by head-pose and facial expression changes. Using only a smartphone-captured short video of a subject for training, we demonstrate the effectiveness of our method on free view synthesis of a portrait scene with explicit head pose and expression controls, and realistic lighting effects. The project page can be found here: http://shahrukhathar.github.io/2023/08/22/CoDyNeRF.html

Aspetto Dinamico Controllabile per Ritratti Neurali 3D

Controllable Dynamic Appearance for Neural 3D Portraits

Abstract

Support