URHand: Manos Reluminosas Universales

Resumen

Los modelos existentes de manos relumbrantes fotorrealistas requieren extensas observaciones específicas de identidad en diferentes vistas, poses e iluminaciones, y enfrentan desafíos para generalizar a iluminaciones naturales e identidades novedosas. Para cerrar esta brecha, presentamos URHand, el primer modelo universal de manos relumbrantes que generaliza a través de puntos de vista, poses, iluminaciones e identidades. Nuestro modelo permite la personalización con pocas muestras utilizando imágenes capturadas con un teléfono móvil, y está listo para ser renderizado fotorrealísticamente bajo iluminaciones novedosas. Para simplificar el proceso de personalización mientras se conserva el fotorrealismo, construimos un poderoso prior universal relumbrante basado en relumbrado neuronal a partir de imágenes multi-vista de manos capturadas en un escenario de iluminación con cientos de identidades. El desafío clave es escalar el entrenamiento cruzado de identidades mientras se mantiene la fidelidad personalizada y los detalles nítidos sin comprometer la generalización bajo iluminaciones naturales. Para ello, proponemos un modelo de iluminación lineal espacialmente variable como el renderizador neuronal que toma el sombreado inspirado en la física como característica de entrada. Al eliminar las activaciones no lineales y el sesgo, nuestro modelo de iluminación específicamente diseñado mantiene explícitamente la linealidad del transporte de luz. Esto permite el entrenamiento en una sola etapa a partir de datos del escenario de iluminación mientras se generaliza a la renderización en tiempo real bajo iluminaciones continuas arbitrarias en diversas identidades. Además, introducimos el aprendizaje conjunto de un modelo basado en la física y nuestro modelo de relumbrado neuronal, lo que mejora aún más la fidelidad y la generalización. Experimentos extensos muestran que nuestro enfoque logra un rendimiento superior sobre los métodos existentes en términos de calidad y generalización. También demostramos la rápida personalización de URHand a partir de un escaneo corto con un teléfono de una identidad no vista.

English

Existing photorealistic relightable hand models require extensive identity-specific observations in different views, poses, and illuminations, and face challenges in generalizing to natural illuminations and novel identities. To bridge this gap, we present URHand, the first universal relightable hand model that generalizes across viewpoints, poses, illuminations, and identities. Our model allows few-shot personalization using images captured with a mobile phone, and is ready to be photorealistically rendered under novel illuminations. To simplify the personalization process while retaining photorealism, we build a powerful universal relightable prior based on neural relighting from multi-view images of hands captured in a light stage with hundreds of identities. The key challenge is scaling the cross-identity training while maintaining personalized fidelity and sharp details without compromising generalization under natural illuminations. To this end, we propose a spatially varying linear lighting model as the neural renderer that takes physics-inspired shading as input feature. By removing non-linear activations and bias, our specifically designed lighting model explicitly keeps the linearity of light transport. This enables single-stage training from light-stage data while generalizing to real-time rendering under arbitrary continuous illuminations across diverse identities. In addition, we introduce the joint learning of a physically based model and our neural relighting model, which further improves fidelity and generalization. Extensive experiments show that our approach achieves superior performance over existing methods in terms of both quality and generalizability. We also demonstrate quick personalization of URHand from a short phone scan of an unseen identity.

URHand: Manos Reluminosas Universales

URHand: Universal Relightable Hands

Resumen

Support