К практическому созданию высококачественных переосвещаемых аватаров

Towards Practical Capture of High-Fidelity Relightable Avatars

September 8, 2023

Авторы: Haotian Yang, Mingwu Zheng, Wanquan Feng, Haibin Huang, Yu-Kun Lai, Pengfei Wan, Zhongyuan Wang, Chongyang Ma

cs.AI

Аннотация

В данной статье мы представляем новую структуру под названием Tracking-free Relightable Avatar (TRAvatar), предназначенную для захвата и реконструкции высококачественных 3D-аватаров. В отличие от предыдущих методов, TRAvatar работает в более практичной и эффективной среде. В частности, TRAvatar обучается на динамических последовательностях изображений, снятых в Light Stage при различных условиях освещения, что позволяет реалистично изменять освещение и анимировать аватары в реальном времени в разнообразных сценах. Кроме того, TRAvatar позволяет захватывать аватары без необходимости отслеживания и устраняет потребность в точном отслеживании поверхности при изменяющихся условиях освещения. Наш вклад заключается в следующем: во-первых, мы предлагаем новую архитектуру сети, которая явно учитывает и обеспечивает выполнение линейной природы освещения. Обучаясь на простых групповых снимках освещения, TRAvatar может предсказывать внешний вид в реальном времени с помощью одного прямого прохода, достигая высококачественных эффектов изменения освещения при произвольных картах окружения. Во-вторых, мы совместно оптимизируем геометрию лица и переосвещаемый внешний вид с нуля на основе последовательностей изображений, где отслеживание неявно изучается. Этот подход без отслеживания обеспечивает устойчивость при установлении временных соответствий между кадрами при различных условиях освещения. Многочисленные качественные и количественные эксперименты демонстрируют, что наша структура достигает превосходных результатов в фотореалистичной анимации и изменении освещения аватаров.

English

In this paper, we propose a novel framework, Tracking-free Relightable Avatar (TRAvatar), for capturing and reconstructing high-fidelity 3D avatars. Compared to previous methods, TRAvatar works in a more practical and efficient setting. Specifically, TRAvatar is trained with dynamic image sequences captured in a Light Stage under varying lighting conditions, enabling realistic relighting and real-time animation for avatars in diverse scenes. Additionally, TRAvatar allows for tracking-free avatar capture and obviates the need for accurate surface tracking under varying illumination conditions. Our contributions are two-fold: First, we propose a novel network architecture that explicitly builds on and ensures the satisfaction of the linear nature of lighting. Trained on simple group light captures, TRAvatar can predict the appearance in real-time with a single forward pass, achieving high-quality relighting effects under illuminations of arbitrary environment maps. Second, we jointly optimize the facial geometry and relightable appearance from scratch based on image sequences, where the tracking is implicitly learned. This tracking-free approach brings robustness for establishing temporal correspondences between frames under different lighting conditions. Extensive qualitative and quantitative experiments demonstrate that our framework achieves superior performance for photorealistic avatar animation and relighting.