Apariencia Dinámica Controlable para Retratos Neurales 3D

Controllable Dynamic Appearance for Neural 3D Portraits

September 20, 2023

Autores: ShahRukh Athar, Zhixin Shu, Zexiang Xu, Fuji Luan, Sai Bi, Kalyan Sunkavalli, Dimitris Samaras

cs.AI

Resumen

Los recientes avances en Campos de Radiancia Neural (NeRFs) han hecho posible reconstruir y reanimar escenas de retratos dinámicos con control sobre la pose de la cabeza, expresiones faciales y dirección de visualización. Sin embargo, el entrenamiento de tales modelos asume consistencia fotométrica sobre la región deformada, es decir, la cara debe estar uniformemente iluminada a medida que se deforma con cambios en la pose de la cabeza y las expresiones faciales. Dicha consistencia fotométrica entre los fotogramas de un video es difícil de mantener, incluso en entornos de estudio, lo que hace que los retratos neurales reanimables creados sean propensos a artefactos durante la reanimación. En este trabajo, proponemos CoDyNeRF, un sistema que permite la creación de retratos 3D completamente controlables en condiciones de captura del mundo real. CoDyNeRF aprende a aproximar los efectos dependientes de la iluminación mediante un modelo de apariencia dinámica en el espacio canónico que está condicionado por las normales de superficie predichas y las deformaciones de las expresiones faciales y la pose de la cabeza. La predicción de las normales de superficie se guía utilizando normales de 3DMM que actúan como una estimación previa aproximada para las normales de la cabeza humana, donde la predicción directa de normales es difícil debido a las deformaciones rígidas y no rígidas inducidas por los cambios en la pose de la cabeza y las expresiones faciales. Utilizando solo un video corto capturado con un smartphone de un sujeto para el entrenamiento, demostramos la efectividad de nuestro método en la síntesis de vistas libres de una escena de retrato con controles explícitos de pose de cabeza y expresiones, y efectos de iluminación realistas. La página del proyecto se puede encontrar aquí: http://shahrukhathar.github.io/2023/08/22/CoDyNeRF.html

English

Recent advances in Neural Radiance Fields (NeRFs) have made it possible to reconstruct and reanimate dynamic portrait scenes with control over head-pose, facial expressions and viewing direction. However, training such models assumes photometric consistency over the deformed region e.g. the face must be evenly lit as it deforms with changing head-pose and facial expression. Such photometric consistency across frames of a video is hard to maintain, even in studio environments, thus making the created reanimatable neural portraits prone to artifacts during reanimation. In this work, we propose CoDyNeRF, a system that enables the creation of fully controllable 3D portraits in real-world capture conditions. CoDyNeRF learns to approximate illumination dependent effects via a dynamic appearance model in the canonical space that is conditioned on predicted surface normals and the facial expressions and head-pose deformations. The surface normals prediction is guided using 3DMM normals that act as a coarse prior for the normals of the human head, where direct prediction of normals is hard due to rigid and non-rigid deformations induced by head-pose and facial expression changes. Using only a smartphone-captured short video of a subject for training, we demonstrate the effectiveness of our method on free view synthesis of a portrait scene with explicit head pose and expression controls, and realistic lighting effects. The project page can be found here: http://shahrukhathar.github.io/2023/08/22/CoDyNeRF.html