URHand: Универсальные переосвещаемые руки

Аннотация

Существующие фотореалистичные модели рук с возможностью переосвещения требуют обширных наблюдений, специфичных для конкретной личности, в различных ракурсах, позах и условиях освещения, а также сталкиваются с трудностями в обобщении на естественное освещение и новые личности. Чтобы преодолеть этот разрыв, мы представляем URHand — первую универсальную модель руки с возможностью переосвещения, которая обобщает данные по ракурсам, позам, освещению и личностям. Наша модель позволяет персонализацию с использованием небольшого количества изображений, снятых на мобильный телефон, и готова к фотореалистичному рендерингу при новом освещении. Чтобы упростить процесс персонализации, сохраняя при этом фотореализм, мы создаем мощный универсальный переосвещаемый приоритет на основе нейронного переосвещения с использованием многовидовых изображений рук, снятых в световой сцене с сотнями личностей. Основная задача заключается в масштабировании кросс-идентификационного обучения при сохранении персонализированной точности и четких деталей, не жертвуя обобщением при естественном освещении. Для этого мы предлагаем пространственно изменяемую линейную модель освещения в качестве нейронного рендерера, которая использует физически вдохновленное затенение в качестве входного признака. Удаляя нелинейные активации и смещения, наша специально разработанная модель освещения явно сохраняет линейность транспорта света. Это позволяет одноэтапное обучение на данных из световой сцены с обобщением на рендеринг в реальном времени при произвольном непрерывном освещении для различных личностей. Кроме того, мы вводим совместное обучение физически обоснованной модели и нашей нейронной модели переосвещения, что дополнительно улучшает точность и обобщение. Многочисленные эксперименты показывают, что наш подход превосходит существующие методы как по качеству, так и по способности к обобщению. Мы также демонстрируем быструю персонализацию URHand на основе короткого сканирования на телефоне для ранее невиданной личности.

English

Existing photorealistic relightable hand models require extensive identity-specific observations in different views, poses, and illuminations, and face challenges in generalizing to natural illuminations and novel identities. To bridge this gap, we present URHand, the first universal relightable hand model that generalizes across viewpoints, poses, illuminations, and identities. Our model allows few-shot personalization using images captured with a mobile phone, and is ready to be photorealistically rendered under novel illuminations. To simplify the personalization process while retaining photorealism, we build a powerful universal relightable prior based on neural relighting from multi-view images of hands captured in a light stage with hundreds of identities. The key challenge is scaling the cross-identity training while maintaining personalized fidelity and sharp details without compromising generalization under natural illuminations. To this end, we propose a spatially varying linear lighting model as the neural renderer that takes physics-inspired shading as input feature. By removing non-linear activations and bias, our specifically designed lighting model explicitly keeps the linearity of light transport. This enables single-stage training from light-stage data while generalizing to real-time rendering under arbitrary continuous illuminations across diverse identities. In addition, we introduce the joint learning of a physically based model and our neural relighting model, which further improves fidelity and generalization. Extensive experiments show that our approach achieves superior performance over existing methods in terms of both quality and generalizability. We also demonstrate quick personalization of URHand from a short phone scan of an unseen identity.

URHand: Универсальные переосвещаемые руки

URHand: Universal Relightable Hands

Аннотация

Support