Steuerbare dynamische Erscheinung für neuronale 3D-Porträts

Zusammenfassung

Jüngste Fortschritte bei Neural Radiance Fields (NeRFs) haben es ermöglicht, dynamische Porträtszenen zu rekonstruieren und neu zu animieren, mit Kontrolle über Kopfhaltung, Gesichtsausdrücke und Blickrichtung. Das Training solcher Modelle setzt jedoch eine photometrische Konsistenz über den deformierten Bereich voraus, d.h. das Gesicht muss gleichmäßig beleuchtet sein, während es sich mit verändernder Kopfhaltung und Gesichtsausdruck verformt. Eine solche photometrische Konsistenz über die Frames eines Videos hinweg ist schwer aufrechtzuerhalten, selbst in Studio-Umgebungen, was die erstellten neu animierbaren neuronalen Porträts anfällig für Artefakte während der Neuanimation macht. In dieser Arbeit schlagen wir CoDyNeRF vor, ein System, das die Erstellung vollständig kontrollierbarer 3D-Porträts unter realen Aufnahmebedingungen ermöglicht. CoDyNeRF lernt, beleuchtungsabhängige Effekte über ein dynamisches Erscheinungsmodell im kanonischen Raum zu approximieren, das auf vorhergesagten Oberflächennormalen sowie den Gesichtsausdrücken und Kopfhaltungsdeformationen basiert. Die Vorhersage der Oberflächennormalen wird durch 3DMM-Normalen geleitet, die als grobe Vorlage für die Normalen des menschlichen Kopfes dienen, da die direkte Vorhersage von Normalen aufgrund von starren und nicht-starren Verformungen, die durch Änderungen der Kopfhaltung und des Gesichtsausdrucks verursacht werden, schwierig ist. Mit nur einem mit einem Smartphone aufgenommenen kurzen Video eines Subjekts für das Training demonstrieren wir die Effektivität unserer Methode bei der freien Ansichtssynthese einer Porträtszene mit expliziter Kontrolle über Kopfhaltung und Gesichtsausdrücke sowie realistischen Beleuchtungseffekten. Die Projektseite finden Sie hier: http://shahrukhathar.github.io/2023/08/22/CoDyNeRF.html

English

Recent advances in Neural Radiance Fields (NeRFs) have made it possible to reconstruct and reanimate dynamic portrait scenes with control over head-pose, facial expressions and viewing direction. However, training such models assumes photometric consistency over the deformed region e.g. the face must be evenly lit as it deforms with changing head-pose and facial expression. Such photometric consistency across frames of a video is hard to maintain, even in studio environments, thus making the created reanimatable neural portraits prone to artifacts during reanimation. In this work, we propose CoDyNeRF, a system that enables the creation of fully controllable 3D portraits in real-world capture conditions. CoDyNeRF learns to approximate illumination dependent effects via a dynamic appearance model in the canonical space that is conditioned on predicted surface normals and the facial expressions and head-pose deformations. The surface normals prediction is guided using 3DMM normals that act as a coarse prior for the normals of the human head, where direct prediction of normals is hard due to rigid and non-rigid deformations induced by head-pose and facial expression changes. Using only a smartphone-captured short video of a subject for training, we demonstrate the effectiveness of our method on free view synthesis of a portrait scene with explicit head pose and expression controls, and realistic lighting effects. The project page can be found here: http://shahrukhathar.github.io/2023/08/22/CoDyNeRF.html

Steuerbare dynamische Erscheinung für neuronale 3D-Porträts

Controllable Dynamic Appearance for Neural 3D Portraits

Zusammenfassung

Support