Neural LightRig: Desbloqueando la Estimación Precisa de Normales de Objetos y Materiales con Difusión de Múltiples Luces

Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion

December 12, 2024

Autores: Zexin He, Tengfei Wang, Xin Huang, Xingang Pan, Ziwei Liu

cs.AI

Resumen

Recuperar la geometría y los materiales de objetos a partir de una sola imagen es desafiante debido a su naturaleza subdeterminada. En este documento, presentamos Neural LightRig, un marco novedoso que potencia la estimación intrínseca al aprovechar condiciones auxiliares de iluminación múltiple de difusión 2D. Específicamente, 1) primero aprovechamos priors de iluminación de modelos de difusión a gran escala para construir nuestro modelo de difusión de luz múltiple en un conjunto de datos de relighting sintético con diseños dedicados. Este modelo de difusión genera múltiples imágenes consistentes, cada una iluminada por fuentes de luz puntual en diferentes direcciones. 2) Utilizando estas imágenes de iluminación variadas para reducir la incertidumbre de la estimación, entrenamos un gran modelo de búfer G con una estructura de U-Net para predecir con precisión las normales de superficie y los materiales. Experimentos extensos validan que nuestro enfoque supera significativamente a los métodos de vanguardia, permitiendo una estimación precisa de las normales de superficie y los materiales PBR con efectos de relighting vívidos. El código y el conjunto de datos están disponibles en nuestra página de proyecto en https://projects.zxhezexin.com/neural-lightrig.

English

Recovering the geometry and materials of objects from a single image is challenging due to its under-constrained nature. In this paper, we present Neural LightRig, a novel framework that boosts intrinsic estimation by leveraging auxiliary multi-lighting conditions from 2D diffusion priors. Specifically, 1) we first leverage illumination priors from large-scale diffusion models to build our multi-light diffusion model on a synthetic relighting dataset with dedicated designs. This diffusion model generates multiple consistent images, each illuminated by point light sources in different directions. 2) By using these varied lighting images to reduce estimation uncertainty, we train a large G-buffer model with a U-Net backbone to accurately predict surface normals and materials. Extensive experiments validate that our approach significantly outperforms state-of-the-art methods, enabling accurate surface normal and PBR material estimation with vivid relighting effects. Code and dataset are available on our project page at https://projects.zxhezexin.com/neural-lightrig.