URHand: Universele Herbelichtbare Handen

Samenvatting

Bestaande fotorealistische, herbelichtbare handmodellen vereisen uitgebreide identiteitsspecifieke observaties vanuit verschillende hoeken, poses en belichtingen, en hebben moeite met generaliseren naar natuurlijke belichtingen en nieuwe identiteiten. Om deze kloof te overbruggen, presenteren wij URHand, het eerste universele herbelichtbare handmodel dat generaliseert over gezichtspunten, poses, belichtingen en identiteiten. Ons model maakt weinig-opname-personalisatie mogelijk met behulp van afbeeldingen die met een mobiele telefoon zijn gemaakt, en is klaar om fotorealistisch te worden weergegeven onder nieuwe belichtingen. Om het personalisatieproces te vereenvoudigen terwijl fotorealisme behouden blijft, bouwen we een krachtige universele herbelichtbare prior op basis van neurale herbelichting van multi-view afbeeldingen van handen die in een lichtstudio zijn vastgelegd met honderden identiteiten. De belangrijkste uitdaging is het opschalen van de cross-identiteitstraining terwijl gepersonaliseerde nauwkeurigheid en scherpe details behouden blijven zonder in te leveren op generalisatie onder natuurlijke belichtingen. Hiertoe stellen we een ruimtelijk variërend lineair belichtingsmodel voor als de neurale renderer die fysica-geïnspireerde shading als invoerkenmerk gebruikt. Door niet-lineaire activaties en bias te verwijderen, behoudt ons specifiek ontworpen belichtingsmodel expliciet de lineariteit van lichttransport. Dit maakt eenfasige training mogelijk op basis van lichtstudio-data terwijl generalisatie naar real-time rendering onder willekeurige continue belichtingen over diverse identiteiten mogelijk blijft. Daarnaast introduceren we het gezamenlijk leren van een fysiek gebaseerd model en ons neurale herbelichtingsmodel, wat de nauwkeurigheid en generalisatie verder verbetert. Uitgebreide experimenten tonen aan dat onze aanpak superieure prestaties behaalt ten opzichte van bestaande methoden wat betreft zowel kwaliteit als generaliseerbaarheid. We demonstreren ook snelle personalisatie van URHand vanuit een korte telefoonscan van een onbekende identiteit.

English

Existing photorealistic relightable hand models require extensive identity-specific observations in different views, poses, and illuminations, and face challenges in generalizing to natural illuminations and novel identities. To bridge this gap, we present URHand, the first universal relightable hand model that generalizes across viewpoints, poses, illuminations, and identities. Our model allows few-shot personalization using images captured with a mobile phone, and is ready to be photorealistically rendered under novel illuminations. To simplify the personalization process while retaining photorealism, we build a powerful universal relightable prior based on neural relighting from multi-view images of hands captured in a light stage with hundreds of identities. The key challenge is scaling the cross-identity training while maintaining personalized fidelity and sharp details without compromising generalization under natural illuminations. To this end, we propose a spatially varying linear lighting model as the neural renderer that takes physics-inspired shading as input feature. By removing non-linear activations and bias, our specifically designed lighting model explicitly keeps the linearity of light transport. This enables single-stage training from light-stage data while generalizing to real-time rendering under arbitrary continuous illuminations across diverse identities. In addition, we introduce the joint learning of a physically based model and our neural relighting model, which further improves fidelity and generalization. Extensive experiments show that our approach achieves superior performance over existing methods in terms of both quality and generalizability. We also demonstrate quick personalization of URHand from a short phone scan of an unseen identity.

URHand: Universele Herbelichtbare Handen

URHand: Universal Relightable Hands

Samenvatting

Support