Rumo à Captura Prática de Avatares Reluzíveis de Alta Fidelidade

Towards Practical Capture of High-Fidelity Relightable Avatars

September 8, 2023

Autores: Haotian Yang, Mingwu Zheng, Wanquan Feng, Haibin Huang, Yu-Kun Lai, Pengfei Wan, Zhongyuan Wang, Chongyang Ma

cs.AI

Resumo

Neste artigo, propomos uma nova estrutura, o Tracking-free Relightable Avatar (TRAvatar), para captura e reconstrução de avatares 3D de alta fidelidade. Em comparação com métodos anteriores, o TRAvatar opera em um cenário mais prático e eficiente. Especificamente, o TRAvatar é treinado com sequências de imagens dinâmicas capturadas em um Light Stage sob diversas condições de iluminação, permitindo a reiluminação realista e a animação em tempo real de avatares em diversos cenários. Além disso, o TRAvatar permite a captura de avatares sem rastreamento e elimina a necessidade de rastreamento preciso da superfície sob condições variáveis de iluminação. Nossas contribuições são duplas: Primeiro, propomos uma nova arquitetura de rede que explicitamente se baseia e garante a satisfação da natureza linear da iluminação. Treinado em capturas simples de luz em grupo, o TRAvatar pode prever a aparência em tempo real com uma única passagem direta, alcançando efeitos de reiluminação de alta qualidade sob iluminações de mapas de ambiente arbitrários. Segundo, otimizamos conjuntamente a geometria facial e a aparência reiluminável a partir do zero com base em sequências de imagens, onde o rastreamento é implicitamente aprendido. Essa abordagem sem rastreamento traz robustez para estabelecer correspondências temporais entre quadros sob diferentes condições de iluminação. Experimentos qualitativos e quantitativos extensivos demonstram que nossa estrutura alcança desempenho superior para animação e reiluminação fotorealista de avatares.

English

In this paper, we propose a novel framework, Tracking-free Relightable Avatar (TRAvatar), for capturing and reconstructing high-fidelity 3D avatars. Compared to previous methods, TRAvatar works in a more practical and efficient setting. Specifically, TRAvatar is trained with dynamic image sequences captured in a Light Stage under varying lighting conditions, enabling realistic relighting and real-time animation for avatars in diverse scenes. Additionally, TRAvatar allows for tracking-free avatar capture and obviates the need for accurate surface tracking under varying illumination conditions. Our contributions are two-fold: First, we propose a novel network architecture that explicitly builds on and ensures the satisfaction of the linear nature of lighting. Trained on simple group light captures, TRAvatar can predict the appearance in real-time with a single forward pass, achieving high-quality relighting effects under illuminations of arbitrary environment maps. Second, we jointly optimize the facial geometry and relightable appearance from scratch based on image sequences, where the tracking is implicitly learned. This tracking-free approach brings robustness for establishing temporal correspondences between frames under different lighting conditions. Extensive qualitative and quantitative experiments demonstrate that our framework achieves superior performance for photorealistic avatar animation and relighting.