Neuromorpher, beleuchtbarer und animierbarer Avatar aus spärlichen Videodaten

Relightable and Animatable Neural Avatar from Sparse-View Video

August 15, 2023

Autoren: Zhen Xu, Sida Peng, Chen Geng, Linzhan Mou, Zihan Yan, Jiaming Sun, Hujun Bao, Xiaowei Zhou

cs.AI

Zusammenfassung

Dieses Papier widmet sich der Herausforderung, neu beleuchtbare und animierbare neuronale Avatare aus spärlichen Ansichten (oder sogar monokularen) Videos von dynamischen Menschen unter unbekannter Beleuchtung zu erstellen. Im Vergleich zu Studio-Umgebungen ist diese Einstellung praktischer und zugänglicher, stellt jedoch ein äußerst schwieriges, schlecht gestelltes Problem dar. Bisherige Methoden zur neuronalen Rekonstruktion von Menschen sind in der Lage, animierbare Avatare aus spärlichen Ansichten mithilfe von deformierten Signed Distance Fields (SDF) zu rekonstruieren, können jedoch keine Materialparameter für die Neuausleuchtung wiederherstellen. Während differenzierbare inverse Rendering-basierte Methoden bei der Materialwiederherstellung statischer Objekte erfolgreich waren, ist es nicht einfach, diese auf dynamische Menschen zu erweitern, da es rechenintensiv ist, Pixel-Oberflächen-Schnittpunkte und Lichtsichtbarkeit auf deformierten SDFs für das inverse Rendering zu berechnen. Um diese Herausforderung zu lösen, schlagen wir einen Hierarchical Distance Query (HDQ)-Algorithmus vor, um die Weltraumdistanzen unter beliebigen menschlichen Posen zu approximieren. Insbesondere schätzen wir grobe Distanzen basierend auf einem parametrischen menschlichen Modell und berechnen feine Distanzen, indem wir die lokale Deformationsinvarianz von SDF ausnutzen. Basierend auf dem HDQ-Algorithmus nutzen wir Sphere Tracing, um effizient den Oberflächenschnittpunkt und die Lichtsichtbarkeit zu schätzen. Dies ermöglicht es uns, das erste System zu entwickeln, das animierbare und neu beleuchtbare neuronale Avatare aus spärlichen Ansichten (oder monokularen) Eingaben wiederherstellt. Experimente zeigen, dass unser Ansatz im Vergleich zu state-of-the-art Methoden überlegene Ergebnisse liefern kann. Unser Code wird zur Reproduzierbarkeit veröffentlicht.

English

This paper tackles the challenge of creating relightable and animatable neural avatars from sparse-view (or even monocular) videos of dynamic humans under unknown illumination. Compared to studio environments, this setting is more practical and accessible but poses an extremely challenging ill-posed problem. Previous neural human reconstruction methods are able to reconstruct animatable avatars from sparse views using deformed Signed Distance Fields (SDF) but cannot recover material parameters for relighting. While differentiable inverse rendering-based methods have succeeded in material recovery of static objects, it is not straightforward to extend them to dynamic humans as it is computationally intensive to compute pixel-surface intersection and light visibility on deformed SDFs for inverse rendering. To solve this challenge, we propose a Hierarchical Distance Query (HDQ) algorithm to approximate the world space distances under arbitrary human poses. Specifically, we estimate coarse distances based on a parametric human model and compute fine distances by exploiting the local deformation invariance of SDF. Based on the HDQ algorithm, we leverage sphere tracing to efficiently estimate the surface intersection and light visibility. This allows us to develop the first system to recover animatable and relightable neural avatars from sparse view (or monocular) inputs. Experiments demonstrate that our approach is able to produce superior results compared to state-of-the-art methods. Our code will be released for reproducibility.