Neural LightRig: Desbloqueando a Estimação Precisa de Normais de Objetos e Materiais com Difusão de Múltiplas Luzes

Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion

December 12, 2024

Autores: Zexin He, Tengfei Wang, Xin Huang, Xingang Pan, Ziwei Liu

cs.AI

Resumo

Recuperar a geometria e os materiais de objetos a partir de uma única imagem é desafiador devido à sua natureza subdeterminada. Neste artigo, apresentamos o Neural LightRig, um novo framework que impulsiona a estimativa intrínseca ao alavancar condições auxiliares de multi-iluminação a partir de priors de difusão 2D. Especificamente, 1) primeiro utilizamos priors de iluminação de modelos de difusão em larga escala para construir nosso modelo de difusão de multi-iluminação em um conjunto de dados de relighting sintético com designs dedicados. Este modelo de difusão gera múltiplas imagens consistentes, cada uma iluminada por fontes de luz pontuais em direções diferentes. 2) Ao utilizar essas imagens de iluminação variadas para reduzir a incerteza na estimativa, treinamos um grande modelo G-buffer com uma espinha dorsal U-Net para prever com precisão normais de superfície e materiais. Experimentos extensivos validam que nossa abordagem supera significativamente os métodos de ponta, possibilitando a estimativa precisa de normais de superfície e materiais PBR com efeitos de relighting vívidos. O código e o conjunto de dados estão disponíveis em nossa página do projeto em https://projects.zxhezexin.com/neural-lightrig.

English

Recovering the geometry and materials of objects from a single image is challenging due to its under-constrained nature. In this paper, we present Neural LightRig, a novel framework that boosts intrinsic estimation by leveraging auxiliary multi-lighting conditions from 2D diffusion priors. Specifically, 1) we first leverage illumination priors from large-scale diffusion models to build our multi-light diffusion model on a synthetic relighting dataset with dedicated designs. This diffusion model generates multiple consistent images, each illuminated by point light sources in different directions. 2) By using these varied lighting images to reduce estimation uncertainty, we train a large G-buffer model with a U-Net backbone to accurately predict surface normals and materials. Extensive experiments validate that our approach significantly outperforms state-of-the-art methods, enabling accurate surface normal and PBR material estimation with vivid relighting effects. Code and dataset are available on our project page at https://projects.zxhezexin.com/neural-lightrig.