Auf dem Weg zur praktischen Erfassung hochwertiger, neu beleuchtbarer Avatare

Towards Practical Capture of High-Fidelity Relightable Avatars

September 8, 2023

Autoren: Haotian Yang, Mingwu Zheng, Wanquan Feng, Haibin Huang, Yu-Kun Lai, Pengfei Wan, Zhongyuan Wang, Chongyang Ma

cs.AI

Zusammenfassung

In diesem Artikel stellen wir ein neuartiges Framework vor, das Tracking-freie, neu beleuchtbare Avatare (TRAvatar) ermöglicht, um hochauflösende 3D-Avatare zu erfassen und zu rekonstruieren. Im Vergleich zu früheren Methoden arbeitet TRAvatar in einer praktischeren und effizienteren Umgebung. Konkret wird TRAvatar mit dynamischen Bildsequenzen trainiert, die in einer Light Stage unter variierenden Beleuchtungsbedingungen aufgenommen wurden. Dies ermöglicht realistische Neuausleuchtung und Echtzeit-Animation von Avataren in verschiedenen Szenen. Darüber hinaus erlaubt TRAvatar die Erfassung von Avataren ohne Tracking und macht eine präzise Oberflächenverfolgung unter wechselnden Beleuchtungsbedingungen überflüssig. Unsere Beiträge sind zweifach: Erstens schlagen wir eine neuartige Netzwerkarchitektur vor, die explizit auf der linearen Natur der Beleuchtung aufbaut und deren Einhaltung sicherstellt. TRAvatar, das mit einfachen Gruppenlichtaufnahmen trainiert wird, kann das Erscheinungsbild in Echtzeit mit einem einzigen Vorwärtsdurchlauf vorhersagen und dabei hochwertige Neuausleuchtungseffekte unter Beleuchtungen beliebiger Umgebungsmaps erzielen. Zweitens optimieren wir die Gesichtsgeometrie und das neu beleuchtbare Erscheinungsbild gemeinsam von Grund auf basierend auf Bildsequenzen, wobei das Tracking implizit erlernt wird. Dieser Tracking-freie Ansatz bietet Robustheit bei der Herstellung zeitlicher Korrespondenzen zwischen Bildern unter verschiedenen Beleuchtungsbedingungen. Umfangreiche qualitative und quantitative Experimente zeigen, dass unser Framework eine überlegene Leistung bei der fotorealistischen Avatar-Animation und Neuausleuchtung erzielt.

English

In this paper, we propose a novel framework, Tracking-free Relightable Avatar (TRAvatar), for capturing and reconstructing high-fidelity 3D avatars. Compared to previous methods, TRAvatar works in a more practical and efficient setting. Specifically, TRAvatar is trained with dynamic image sequences captured in a Light Stage under varying lighting conditions, enabling realistic relighting and real-time animation for avatars in diverse scenes. Additionally, TRAvatar allows for tracking-free avatar capture and obviates the need for accurate surface tracking under varying illumination conditions. Our contributions are two-fold: First, we propose a novel network architecture that explicitly builds on and ensures the satisfaction of the linear nature of lighting. Trained on simple group light captures, TRAvatar can predict the appearance in real-time with a single forward pass, achieving high-quality relighting effects under illuminations of arbitrary environment maps. Second, we jointly optimize the facial geometry and relightable appearance from scratch based on image sequences, where the tracking is implicitly learned. This tracking-free approach brings robustness for establishing temporal correspondences between frames under different lighting conditions. Extensive qualitative and quantitative experiments demonstrate that our framework achieves superior performance for photorealistic avatar animation and relighting.