Naar een praktische vastlegging van hoogwaardige, herbelichtbare avatars

Samenvatting

In dit artikel introduceren we een nieuw raamwerk, Tracking-free Relightable Avatar (TRAvatar), voor het vastleggen en reconstrueren van hoogwaardige 3D-avatars. In vergelijking met eerdere methoden werkt TRAvatar in een praktischer en efficiëntere setting. Specifiek wordt TRAvatar getraind met dynamische beeldsequenties die zijn vastgelegd in een Light Stage onder verschillende lichtomstandigheden, waardoor realistische herbelichting en real-time animatie van avatars in diverse scènes mogelijk wordt. Bovendien maakt TRAvatar het mogelijk om avatars vast te leggen zonder tracking en elimineert het de noodzaak voor nauwkeurige oppervlaktetracking onder variërende lichtomstandigheden. Onze bijdragen zijn tweeledig: Ten eerste stellen we een nieuw netwerkarchitectuur voor die expliciet voortbouwt op en de lineaire aard van belichting waarborgt. Getraind op eenvoudige groepslichtopnames kan TRAvatar het uiterlijk in real-time voorspellen met een enkele voorwaartse doorloop, waardoor hoogwaardige herbelichtingseffecten worden bereikt onder belichting van willekeurige omgevingskaarten. Ten tweede optimaliseren we gezamenlijk de gezichtsgeometrie en herbelichtbare verschijning vanaf nul op basis van beeldsequenties, waarbij de tracking impliciet wordt geleerd. Deze tracking-free aanpak biedt robuustheid voor het vaststellen van temporele correspondenties tussen frames onder verschillende lichtomstandigheden. Uitgebreide kwalitatieve en kwantitatieve experimenten tonen aan dat ons raamwerk superieure prestaties levert voor fotorealistische avataranimatie en herbelichting.

English

In this paper, we propose a novel framework, Tracking-free Relightable Avatar (TRAvatar), for capturing and reconstructing high-fidelity 3D avatars. Compared to previous methods, TRAvatar works in a more practical and efficient setting. Specifically, TRAvatar is trained with dynamic image sequences captured in a Light Stage under varying lighting conditions, enabling realistic relighting and real-time animation for avatars in diverse scenes. Additionally, TRAvatar allows for tracking-free avatar capture and obviates the need for accurate surface tracking under varying illumination conditions. Our contributions are two-fold: First, we propose a novel network architecture that explicitly builds on and ensures the satisfaction of the linear nature of lighting. Trained on simple group light captures, TRAvatar can predict the appearance in real-time with a single forward pass, achieving high-quality relighting effects under illuminations of arbitrary environment maps. Second, we jointly optimize the facial geometry and relightable appearance from scratch based on image sequences, where the tracking is implicitly learned. This tracking-free approach brings robustness for establishing temporal correspondences between frames under different lighting conditions. Extensive qualitative and quantitative experiments demonstrate that our framework achieves superior performance for photorealistic avatar animation and relighting.

Naar een praktische vastlegging van hoogwaardige, herbelichtbare avatars

Towards Practical Capture of High-Fidelity Relightable Avatars

Samenvatting

Support