URHand: Mãos Universalmente Reilumináveis

Resumo

Os modelos fotorealísticos de mãos reluzentes existentes exigem extensas observações específicas para cada identidade em diferentes ângulos, poses e iluminações, e enfrentam desafios para generalizar em iluminações naturais e novas identidades. Para preencher essa lacuna, apresentamos o URHand, o primeiro modelo universal de mãos reluzentes que generaliza entre pontos de vista, poses, iluminações e identidades. Nosso modelo permite a personalização com poucas amostras usando imagens capturadas com um telefone celular e está pronto para ser renderizado fotorealisticamente sob novas iluminações. Para simplificar o processo de personalização enquanto mantém o fotorealismo, construímos um poderoso prior universal reluzente baseado em reluzimento neural a partir de imagens multi-visão de mãos capturadas em um estágio de luz com centenas de identidades. O principal desafio é escalar o treinamento cruzado entre identidades enquanto mantém a fidelidade personalizada e detalhes nítidos sem comprometer a generalização sob iluminações naturais. Para isso, propomos um modelo de iluminação linear espacialmente variável como o renderizador neural que toma o sombreamento inspirado na física como característica de entrada. Ao remover ativações não lineares e viés, nosso modelo de iluminação especificamente projetado mantém explicitamente a linearidade do transporte de luz. Isso permite o treinamento em estágio único a partir de dados de estágio de luz enquanto generaliza para renderização em tempo real sob iluminações contínuas arbitrárias em diversas identidades. Além disso, introduzimos a aprendizagem conjunta de um modelo baseado em física e nosso modelo de reluzimento neural, o que melhora ainda mais a fidelidade e a generalização. Experimentos extensivos mostram que nossa abordagem alcança desempenho superior em relação aos métodos existentes em termos de qualidade e generalizabilidade. Também demonstramos a rápida personalização do URHand a partir de uma breve varredura de telefone de uma identidade não vista.

English

Existing photorealistic relightable hand models require extensive identity-specific observations in different views, poses, and illuminations, and face challenges in generalizing to natural illuminations and novel identities. To bridge this gap, we present URHand, the first universal relightable hand model that generalizes across viewpoints, poses, illuminations, and identities. Our model allows few-shot personalization using images captured with a mobile phone, and is ready to be photorealistically rendered under novel illuminations. To simplify the personalization process while retaining photorealism, we build a powerful universal relightable prior based on neural relighting from multi-view images of hands captured in a light stage with hundreds of identities. The key challenge is scaling the cross-identity training while maintaining personalized fidelity and sharp details without compromising generalization under natural illuminations. To this end, we propose a spatially varying linear lighting model as the neural renderer that takes physics-inspired shading as input feature. By removing non-linear activations and bias, our specifically designed lighting model explicitly keeps the linearity of light transport. This enables single-stage training from light-stage data while generalizing to real-time rendering under arbitrary continuous illuminations across diverse identities. In addition, we introduce the joint learning of a physically based model and our neural relighting model, which further improves fidelity and generalization. Extensive experiments show that our approach achieves superior performance over existing methods in terms of both quality and generalizability. We also demonstrate quick personalization of URHand from a short phone scan of an unseen identity.

URHand: Mãos Universalmente Reilumináveis

URHand: Universal Relightable Hands

Resumo

Support