ニューラルライトリグ：マルチライト拡散を用いた正確な物体法線とマテリアル推定の解除

Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion

December 12, 2024

著者: Zexin He, Tengfei Wang, Xin Huang, Xingang Pan, Ziwei Liu

cs.AI

要旨

単一の画像から物体の幾何学と材料を復元することは、その過不足な性質により困難です。本論文では、2D拡散事前情報から補助的な複数の照明条件を活用して固有推定を向上させる新しいフレームワークであるNeural LightRigを提案します。具体的には、1) 大規模な拡散モデルからの照明事前情報を活用し、専用の設計を施した合成のリライティングデータセット上で我々のマルチライト拡散モデルを構築します。この拡散モデルは、異なる方向からの点光源によって照らされた複数の一貫した画像を生成します。2) これらの異なる照明画像を使用して推定の不確実性を減少させることで、U-Netバックボーンを持つ大規模なG-bufferモデルを訓練し、表面法線と材料を正確に予測します。幅広い実験により、当社の手法が最先端の手法を大幅に上回ることが検証され、鮮やかなリライティング効果を持つ正確な表面法線とPBR材料の推定が可能となります。コードとデータセットは、当社のプロジェクトページhttps://projects.zxhezexin.com/neural-lightrig で入手可能です。

English

Recovering the geometry and materials of objects from a single image is challenging due to its under-constrained nature. In this paper, we present Neural LightRig, a novel framework that boosts intrinsic estimation by leveraging auxiliary multi-lighting conditions from 2D diffusion priors. Specifically, 1) we first leverage illumination priors from large-scale diffusion models to build our multi-light diffusion model on a synthetic relighting dataset with dedicated designs. This diffusion model generates multiple consistent images, each illuminated by point light sources in different directions. 2) By using these varied lighting images to reduce estimation uncertainty, we train a large G-buffer model with a U-Net backbone to accurately predict surface normals and materials. Extensive experiments validate that our approach significantly outperforms state-of-the-art methods, enabling accurate surface normal and PBR material estimation with vivid relighting effects. Code and dataset are available on our project page at https://projects.zxhezexin.com/neural-lightrig.