Нейронный световой риг: раскрытие точной оценки нормалей объектов и материалов с помощью многолучевого диффузии.

Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion

December 12, 2024

Авторы: Zexin He, Tengfei Wang, Xin Huang, Xingang Pan, Ziwei Liu

cs.AI

Аннотация

Восстановление геометрии и материалов объектов по одному изображению представляет собой сложную задачу из-за ее недоопределенности. В данной статье мы представляем Neural LightRig, новую структуру, которая повышает внутреннюю оценку, используя вспомогательные многократные условия освещения из 2D диффузионных априорных данных. Конкретно, 1) мы сначала используем априорные данные об освещении из моделей диффузии большого масштаба для построения нашей многократной диффузионной модели на синтетическом наборе данных по переосвещению с специально разработанными конструкциями. Эта модель диффузии генерирует несколько согласованных изображений, каждое из которых освещено точечными источниками света в разных направлениях. 2) Используя эти разнообразные изображения освещения для уменьшения неопределенности оценки, мы обучаем большую модель буфера G с основой U-Net для точного прогнозирования нормалей поверхности и материалов. Обширные эксперименты подтверждают, что наш подход значительно превосходит современные методы, обеспечивая точную оценку нормалей поверхности и материалов PBR с яркими эффектами переосвещения. Код и набор данных доступны на нашей странице проекта по адресу https://projects.zxhezexin.com/neural-lightrig.

English

Recovering the geometry and materials of objects from a single image is challenging due to its under-constrained nature. In this paper, we present Neural LightRig, a novel framework that boosts intrinsic estimation by leveraging auxiliary multi-lighting conditions from 2D diffusion priors. Specifically, 1) we first leverage illumination priors from large-scale diffusion models to build our multi-light diffusion model on a synthetic relighting dataset with dedicated designs. This diffusion model generates multiple consistent images, each illuminated by point light sources in different directions. 2) By using these varied lighting images to reduce estimation uncertainty, we train a large G-buffer model with a U-Net backbone to accurately predict surface normals and materials. Extensive experiments validate that our approach significantly outperforms state-of-the-art methods, enabling accurate surface normal and PBR material estimation with vivid relighting effects. Code and dataset are available on our project page at https://projects.zxhezexin.com/neural-lightrig.