Neurale LichtRig: Nauwkeurige schatting van objectnormaal en materiaalontgrendeling met multi-lichtdiffusie.

Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion

December 12, 2024

Auteurs: Zexin He, Tengfei Wang, Xin Huang, Xingang Pan, Ziwei Liu

cs.AI

Samenvatting

Het herstellen van de geometrie en materialen van objecten uit een enkele afbeelding is uitdagend vanwege de onderbepaalde aard ervan. In dit artikel presenteren we Neural LightRig, een nieuw raamwerk dat intrinsieke schatting verbetert door gebruik te maken van aanvullende multi-verlichtingscondities van 2D-diffusiepriors. Specifiek, 1) maken we eerst gebruik van verlichtingspriors van grootschalige diffusiemodellen om ons multi-verlichtingsdiffusiemodel te bouwen op een synthetische verlichtingsdataset met speciale ontwerpen. Dit diffusiemodel genereert meerdere consistente afbeeldingen, elk verlicht door puntlichtbronnen in verschillende richtingen. 2) Door deze gevarieerde verlichtingsafbeeldingen te gebruiken om schattingsonzekerheid te verminderen, trainen we een groot G-buffermodel met een U-Net ruggengraat om nauwkeurig oppervlaktenormalen en materialen te voorspellen. Uitgebreide experimenten bevestigen dat onze aanpak aanzienlijk beter presteert dan state-of-the-art methoden, waardoor nauwkeurige oppervlaktenormalen en PBR-materiaalschattingen mogelijk zijn met levendige verlichtingseffecten. Code en dataset zijn beschikbaar op onze projectpagina op https://projects.zxhezexin.com/neural-lightrig.

English

Recovering the geometry and materials of objects from a single image is challenging due to its under-constrained nature. In this paper, we present Neural LightRig, a novel framework that boosts intrinsic estimation by leveraging auxiliary multi-lighting conditions from 2D diffusion priors. Specifically, 1) we first leverage illumination priors from large-scale diffusion models to build our multi-light diffusion model on a synthetic relighting dataset with dedicated designs. This diffusion model generates multiple consistent images, each illuminated by point light sources in different directions. 2) By using these varied lighting images to reduce estimation uncertainty, we train a large G-buffer model with a U-Net backbone to accurately predict surface normals and materials. Extensive experiments validate that our approach significantly outperforms state-of-the-art methods, enabling accurate surface normal and PBR material estimation with vivid relighting effects. Code and dataset are available on our project page at https://projects.zxhezexin.com/neural-lightrig.