Управляемое динамическое внешнее представление для нейронных 3D-портретов
Controllable Dynamic Appearance for Neural 3D Portraits
September 20, 2023
Авторы: ShahRukh Athar, Zhixin Shu, Zexiang Xu, Fuji Luan, Sai Bi, Kalyan Sunkavalli, Dimitris Samaras
cs.AI
Аннотация
Последние достижения в области нейронных полей излучения (NeRF) сделали возможным реконструкцию и анимацию динамических портретных сцен с контролем над положением головы, мимикой и направлением взгляда. Однако обучение таких моделей предполагает фотометрическую согласованность в деформируемой области, например, лицо должно быть равномерно освещено при изменении положения головы и мимики. Такая фотометрическая согласованность между кадрами видео трудно достижима даже в студийных условиях, что делает создаваемые анимируемые нейронные портреты подверженными артефактам при анимации. В данной работе мы предлагаем CoDyNeRF — систему, которая позволяет создавать полностью управляемые 3D-портреты в условиях реальной съемки. CoDyNeRF обучается аппроксимировать эффекты, зависящие от освещения, с помощью динамической модели внешнего вида в каноническом пространстве, которая учитывает предсказанные нормали поверхности, а также мимику и деформации положения головы. Предсказание нормалей поверхности направляется с использованием нормалей 3DMM, которые служат грубым априорным приближением для нормалей человеческой головы, где прямое предсказание нормалей затруднено из-за жестких и нежестких деформаций, вызванных изменением положения головы и мимики. Используя только короткое видео, снятое на смартфон, для обучения, мы демонстрируем эффективность нашего метода в синтезе свободного вида портретной сцены с явным управлением положением головы и мимикой, а также реалистичными эффектами освещения. Страница проекта доступна по ссылке: http://shahrukhathar.github.io/2023/08/22/CoDyNeRF.html
English
Recent advances in Neural Radiance Fields (NeRFs) have made it possible to
reconstruct and reanimate dynamic portrait scenes with control over head-pose,
facial expressions and viewing direction. However, training such models assumes
photometric consistency over the deformed region e.g. the face must be evenly
lit as it deforms with changing head-pose and facial expression. Such
photometric consistency across frames of a video is hard to maintain, even in
studio environments, thus making the created reanimatable neural portraits
prone to artifacts during reanimation. In this work, we propose CoDyNeRF, a
system that enables the creation of fully controllable 3D portraits in
real-world capture conditions. CoDyNeRF learns to approximate illumination
dependent effects via a dynamic appearance model in the canonical space that is
conditioned on predicted surface normals and the facial expressions and
head-pose deformations. The surface normals prediction is guided using 3DMM
normals that act as a coarse prior for the normals of the human head, where
direct prediction of normals is hard due to rigid and non-rigid deformations
induced by head-pose and facial expression changes. Using only a
smartphone-captured short video of a subject for training, we demonstrate the
effectiveness of our method on free view synthesis of a portrait scene with
explicit head pose and expression controls, and realistic lighting effects. The
project page can be found here:
http://shahrukhathar.github.io/2023/08/22/CoDyNeRF.html