실용적인 고품질 재조명 가능 아바타 캡처를 향하여

Towards Practical Capture of High-Fidelity Relightable Avatars

September 8, 2023

저자: Haotian Yang, Mingwu Zheng, Wanquan Feng, Haibin Huang, Yu-Kun Lai, Pengfei Wan, Zhongyuan Wang, Chongyang Ma

cs.AI

초록

본 논문에서는 고해상도 3D 아바타를 캡처하고 재구성하기 위한 새로운 프레임워크인 Tracking-free Relightable Avatar(TRAvatar)를 제안합니다. 기존 방법과 비교하여 TRAvatar는 더 실용적이고 효율적인 환경에서 작동합니다. 구체적으로, TRAvatar는 다양한 조명 조건 하에서 Light Stage에서 캡처된 동적 이미지 시퀀스로 학습되어, 다양한 장면에서 아바타의 사실적인 리라이팅과 실시간 애니메이션을 가능하게 합니다. 또한, TRAvatar는 추적 없이 아바타를 캡처할 수 있으며, 다양한 조명 조건에서 정확한 표면 추적의 필요성을 제거합니다. 우리의 기여는 두 가지로 요약됩니다: 첫째, 조명의 선형적 특성을 명시적으로 구축하고 이를 보장하는 새로운 네트워크 아키텍처를 제안합니다. 간단한 그룹 조명 캡처로 학습된 TRAvatar는 단일 순방향 전달로 실시간 외관을 예측할 수 있으며, 임의의 환경 맵 조명에서도 고품질의 리라이팅 효과를 달성합니다. 둘째, 이미지 시퀀스를 기반으로 얼굴 기하학과 리라이팅 가능한 외관을 처음부터 공동으로 최적화하며, 이 과정에서 추적이 암묵적으로 학습됩니다. 이 추적 없는 접근 방식은 다양한 조명 조건 하에서 프레임 간의 시간적 일관성을 확립하는 데 있어 견고성을 제공합니다. 광범위한 정성적 및 정량적 실험을 통해 우리의 프레임워크가 사실적인 아바타 애니메이션과 리라이팅에서 우수한 성능을 달성함을 입증합니다.

English

In this paper, we propose a novel framework, Tracking-free Relightable Avatar (TRAvatar), for capturing and reconstructing high-fidelity 3D avatars. Compared to previous methods, TRAvatar works in a more practical and efficient setting. Specifically, TRAvatar is trained with dynamic image sequences captured in a Light Stage under varying lighting conditions, enabling realistic relighting and real-time animation for avatars in diverse scenes. Additionally, TRAvatar allows for tracking-free avatar capture and obviates the need for accurate surface tracking under varying illumination conditions. Our contributions are two-fold: First, we propose a novel network architecture that explicitly builds on and ensures the satisfaction of the linear nature of lighting. Trained on simple group light captures, TRAvatar can predict the appearance in real-time with a single forward pass, achieving high-quality relighting effects under illuminations of arbitrary environment maps. Second, we jointly optimize the facial geometry and relightable appearance from scratch based on image sequences, where the tracking is implicitly learned. This tracking-free approach brings robustness for establishing temporal correspondences between frames under different lighting conditions. Extensive qualitative and quantitative experiments demonstrate that our framework achieves superior performance for photorealistic avatar animation and relighting.