Beheersbare Dynamische Uiterlijkheden voor Neurale 3D Portretten

Samenvatting

Recente ontwikkelingen in Neural Radiance Fields (NeRFs) hebben het mogelijk gemaakt om dynamische portretscènes te reconstrueren en te reanimeren met controle over hoofdpositie, gezichtsuitdrukkingen en kijkrichting. Het trainen van dergelijke modellen veronderstelt echter fotometrische consistentie over het vervormde gebied, bijvoorbeeld het gezicht moet gelijkmatig verlicht zijn terwijl het vervormt door veranderingen in hoofdpositie en gezichtsuitdrukking. Een dergelijke fotometrische consistentie over de frames van een video is moeilijk te handhaven, zelfs in studio-omgevingen, waardoor de gecreëerde reanimeerbare neurale portretten gevoelig zijn voor artefacten tijdens reanimatie. In dit werk stellen we CoDyNeRF voor, een systeem dat het mogelijk maakt om volledig bestuurbare 3D-portretten te creëren onder realistische opnameomstandigheden. CoDyNeRF leert om belichtingsafhankelijke effecten te benaderen via een dynamisch uiterlijk model in de canonieke ruimte dat wordt geconditioneerd op voorspelde oppervlaktenormalen en de gezichtsuitdrukkingen en hoofdpositievervormingen. De voorspelling van de oppervlaktenormalen wordt begeleid met behulp van 3DMM-normalen die dienen als een ruwe prior voor de normalen van het menselijk hoofd, waar directe voorspelling van normalen moeilijk is vanwege rigide en niet-rigide vervormingen veroorzaakt door veranderingen in hoofdpositie en gezichtsuitdrukking. Met alleen een korte video van een onderwerp, opgenomen met een smartphone, demonstreren we de effectiviteit van onze methode op vrije weergavesynthese van een portretscène met expliciete controle over hoofdpositie en gezichtsuitdrukking, en realistische belichtingseffecten. De projectpagina is hier te vinden: http://shahrukhathar.github.io/2023/08/22/CoDyNeRF.html

English

Recent advances in Neural Radiance Fields (NeRFs) have made it possible to reconstruct and reanimate dynamic portrait scenes with control over head-pose, facial expressions and viewing direction. However, training such models assumes photometric consistency over the deformed region e.g. the face must be evenly lit as it deforms with changing head-pose and facial expression. Such photometric consistency across frames of a video is hard to maintain, even in studio environments, thus making the created reanimatable neural portraits prone to artifacts during reanimation. In this work, we propose CoDyNeRF, a system that enables the creation of fully controllable 3D portraits in real-world capture conditions. CoDyNeRF learns to approximate illumination dependent effects via a dynamic appearance model in the canonical space that is conditioned on predicted surface normals and the facial expressions and head-pose deformations. The surface normals prediction is guided using 3DMM normals that act as a coarse prior for the normals of the human head, where direct prediction of normals is hard due to rigid and non-rigid deformations induced by head-pose and facial expression changes. Using only a smartphone-captured short video of a subject for training, we demonstrate the effectiveness of our method on free view synthesis of a portrait scene with explicit head pose and expression controls, and realistic lighting effects. The project page can be found here: http://shahrukhathar.github.io/2023/08/22/CoDyNeRF.html

Beheersbare Dynamische Uiterlijkheden voor Neurale 3D Portretten

Controllable Dynamic Appearance for Neural 3D Portraits

Samenvatting

Support