Neuronales LightRig: Entsperrung genauer Objektnormalen- und Materialeinschätzung mit Multi-Licht-Diffusion

Neural LightRig: Unlocking Accurate Object Normal and Material Estimation with Multi-Light Diffusion

December 12, 2024

Autoren: Zexin He, Tengfei Wang, Xin Huang, Xingang Pan, Ziwei Liu

cs.AI

Zusammenfassung

Die Wiederherstellung der Geometrie und Materialien von Objekten aus einem einzigen Bild ist aufgrund seiner unzureichenden Bedingungen eine Herausforderung. In diesem Artikel präsentieren wir Neural LightRig, ein neuartiges Framework, das die intrinsische Schätzung durch die Nutzung von zusätzlichen Multi-Beleuchtungsbedingungen aus 2D-Diffusionspriors verbessert. Konkret nutzen wir zunächst Beleuchtungspriors aus groß angelegten Diffusionsmodellen, um unser Multi-Licht-Diffusionsmodell auf einem synthetischen Beleuchtungsdatensatz mit speziellen Designs zu erstellen. Dieses Diffusionsmodell erzeugt mehrere konsistente Bilder, die jeweils von Punktlichtquellen in verschiedenen Richtungen beleuchtet werden. Durch die Verwendung dieser unterschiedlichen Beleuchtungsbilder zur Reduzierung der Schätzungunsicherheit trainieren wir ein großes G-Buffer-Modell mit einem U-Net-Backbone, um Oberflächennormalen und Materialien genau vorherzusagen. Umfangreiche Experimente bestätigen, dass unser Ansatz signifikant bessere Leistungen als die modernsten Methoden erbringt und eine präzise Schätzung der Oberflächennormalen und PBR-Materialien mit lebendigen Beleuchtungseffekten ermöglicht. Der Code und der Datensatz sind auf unserer Projektseite unter https://projects.zxhezexin.com/neural-lightrig verfügbar.

English

Recovering the geometry and materials of objects from a single image is challenging due to its under-constrained nature. In this paper, we present Neural LightRig, a novel framework that boosts intrinsic estimation by leveraging auxiliary multi-lighting conditions from 2D diffusion priors. Specifically, 1) we first leverage illumination priors from large-scale diffusion models to build our multi-light diffusion model on a synthetic relighting dataset with dedicated designs. This diffusion model generates multiple consistent images, each illuminated by point light sources in different directions. 2) By using these varied lighting images to reduce estimation uncertainty, we train a large G-buffer model with a U-Net backbone to accurately predict surface normals and materials. Extensive experiments validate that our approach significantly outperforms state-of-the-art methods, enabling accurate surface normal and PBR material estimation with vivid relighting effects. Code and dataset are available on our project page at https://projects.zxhezexin.com/neural-lightrig.