URHand: Universelle neu beleuchtbare Hände

URHand: Universal Relightable Hands

January 10, 2024

Autoren: Zhaoxi Chen, Gyeongsik Moon, Kaiwen Guo, Chen Cao, Stanislav Pidhorskyi, Tomas Simon, Rohan Joshi, Yuan Dong, Yichen Xu, Bernardo Pires, He Wen, Lucas Evans, Bo Peng, Julia Buffalini, Autumn Trimble, Kevyn McPhail, Melissa Schoeller, Shoou-I Yu, Javier Romero, Michael Zollhöfer, Yaser Sheikh, Ziwei Liu, Shunsuke Saito

cs.AI

Zusammenfassung

Bestehende fotorealistische, neu beleuchtbare Handmodelle erfordern umfangreiche identitätsspezifische Beobachtungen in verschiedenen Ansichten, Posen und Beleuchtungen und stehen vor Herausforderungen bei der Generalisierung auf natürliche Beleuchtungen und neue Identitäten. Um diese Lücke zu schließen, präsentieren wir URHand, das erste universelle neu beleuchtbare Handmodell, das sich über Ansichten, Posen, Beleuchtungen und Identitäten hinweg verallgemeinern lässt. Unser Modell ermöglicht eine Personalisierung mit wenigen Aufnahmen unter Verwendung von Bildern, die mit einem Mobiltelefon aufgenommen wurden, und ist bereit, fotorealistisch unter neuen Beleuchtungen gerendert zu werden. Um den Personalisierungsprozess zu vereinfachen und gleichzeitig den Fotorealismus zu bewahren, bauen wir ein leistungsstarkes universelles neu beleuchtbares Prior auf der Grundlage von neuronaler Neuausleuchtung aus Multi-View-Bildern von Händen, die in einer Lichtbühne mit Hunderten von Identitäten aufgenommen wurden. Die zentrale Herausforderung besteht darin, das identitätsübergreifende Training zu skalieren, während die personalisierte Treue und scharfe Details ohne Kompromisse bei der Generalisierung unter natürlichen Beleuchtungen erhalten bleiben. Zu diesem Zweck schlagen wir ein räumlich variierendes lineares Beleuchtungsmodell als neuronalen Renderer vor, das physikinspirierte Schattierung als Eingabemerkmal verwendet. Durch das Entfernen nicht-linearer Aktivierungen und Verzerrungen bewahrt unser speziell entworfenes Beleuchtungsmodell explizit die Linearität des Lichttransports. Dies ermöglicht ein einstufiges Training mit Lichtbühnen-Daten, während es sich auf Echtzeit-Rendering unter beliebigen kontinuierlichen Beleuchtungen über diverse Identitäten hinweg verallgemeinert. Darüber hinaus führen wir das gemeinsame Lernen eines physikalisch basierten Modells und unseres neuronalen Neuausleuchtungsmodells ein, was die Treue und Generalisierung weiter verbessert. Umfangreiche Experimente zeigen, dass unser Ansatz bestehende Methoden sowohl in Bezug auf die Qualität als auch auf die Generalisierbarkeit übertrifft. Wir demonstrieren auch die schnelle Personalisierung von URHand aus einem kurzen Telefon-Scan einer unbekannten Identität.

English

Existing photorealistic relightable hand models require extensive identity-specific observations in different views, poses, and illuminations, and face challenges in generalizing to natural illuminations and novel identities. To bridge this gap, we present URHand, the first universal relightable hand model that generalizes across viewpoints, poses, illuminations, and identities. Our model allows few-shot personalization using images captured with a mobile phone, and is ready to be photorealistically rendered under novel illuminations. To simplify the personalization process while retaining photorealism, we build a powerful universal relightable prior based on neural relighting from multi-view images of hands captured in a light stage with hundreds of identities. The key challenge is scaling the cross-identity training while maintaining personalized fidelity and sharp details without compromising generalization under natural illuminations. To this end, we propose a spatially varying linear lighting model as the neural renderer that takes physics-inspired shading as input feature. By removing non-linear activations and bias, our specifically designed lighting model explicitly keeps the linearity of light transport. This enables single-stage training from light-stage data while generalizing to real-time rendering under arbitrary continuous illuminations across diverse identities. In addition, we introduce the joint learning of a physically based model and our neural relighting model, which further improves fidelity and generalization. Extensive experiments show that our approach achieves superior performance over existing methods in terms of both quality and generalizability. We also demonstrate quick personalization of URHand from a short phone scan of an unseen identity.