Neural LightRig : Déverrouillage de l'estimation précise des normales d'objet et des matériaux avec diffusion multi-lumière

Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion

December 12, 2024

Auteurs: Zexin He, Tengfei Wang, Xin Huang, Xingang Pan, Ziwei Liu

cs.AI

Résumé

La récupération de la géométrie et des matériaux d'objets à partir d'une seule image est complexe en raison de sa nature sous-contrainte. Dans cet article, nous présentons Neural LightRig, un nouveau cadre qui améliore l'estimation intrinsèque en exploitant des conditions d'éclairage auxiliaires à partir de priors de diffusion 2D. Plus précisément, 1) nous utilisons d'abord des priors d'éclairage à partir de modèles de diffusion à grande échelle pour construire notre modèle de diffusion multi-éclairage sur un ensemble de données de rééclairage synthétique avec des conceptions dédiées. Ce modèle de diffusion génère plusieurs images cohérentes, chacune éclairée par des sources lumineuses ponctuelles dans différentes directions. 2) En utilisant ces images d'éclairage variées pour réduire l'incertitude de l'estimation, nous entraînons un grand modèle de tampon G avec une architecture U-Net pour prédire avec précision les normales de surface et les matériaux. Des expériences approfondies valident que notre approche surpasse significativement les méthodes de pointe, permettant une estimation précise des normales de surface et des matériaux PBR avec des effets de rééclairage saisissants. Le code et l'ensemble de données sont disponibles sur notre page de projet à l'adresse https://projects.zxhezexin.com/neural-lightrig.

English

Recovering the geometry and materials of objects from a single image is challenging due to its under-constrained nature. In this paper, we present Neural LightRig, a novel framework that boosts intrinsic estimation by leveraging auxiliary multi-lighting conditions from 2D diffusion priors. Specifically, 1) we first leverage illumination priors from large-scale diffusion models to build our multi-light diffusion model on a synthetic relighting dataset with dedicated designs. This diffusion model generates multiple consistent images, each illuminated by point light sources in different directions. 2) By using these varied lighting images to reduce estimation uncertainty, we train a large G-buffer model with a U-Net backbone to accurately predict surface normals and materials. Extensive experiments validate that our approach significantly outperforms state-of-the-art methods, enabling accurate surface normal and PBR material estimation with vivid relighting effects. Code and dataset are available on our project page at https://projects.zxhezexin.com/neural-lightrig.