MatSpray: Integration von 2D-Materialwissen auf 3D-Geometrie
MatSpray: Fusing 2D Material World Knowledge on 3D Geometry
December 20, 2025
papers.authors: Philipp Langsteiner, Jan-Niklas Dihlmann, Hendrik P. A. Lensch
cs.AI
papers.abstract
Die manuelle Modellierung von Materialparametern und 3D-Geometrie ist eine zeitaufwändige, aber wesentliche Aufgabe in der Gaming- und Filmindustrie. Während neuere Fortschritte in der 3D-Rekonstruktion genaue Annäherungen der Szenengeometrie und des Erscheinungsbilds ermöglicht haben, scheitern diese Methoden häufig bei Neubeleuchtungsszenarien aufgrund des Mangels an präzisen, räumlich variierenden Materialparametern. Gleichzeitig haben sich auf 2D-Bildern operierende Diffusionsmodelle bei der Vorhersage von physikalisch basierten Rendering-Eigenschaften (PBR) wie Albedo, Rauheit und Metallizität als leistungsstark erwiesen. Die Übertragung dieser 2D-Materialkarten auf rekonstruierte 3D-Geometrien bleibt jedoch eine große Herausforderung. Wir schlagen ein Framework zur Fusion von 2D-Materialdaten in 3D-Geometrien unter Verwendung einer Kombination aus neuartigen lernbasierten und projektionsbasierten Ansätzen vor. Wir beginnen mit der Rekonstruktion der Szenengeometrie mittels Gaussian Splatting. Aus den Eingabebildern generiert ein Diffusionsmodell 2D-Karten für Albedo-, Rauheits- und Metallizitätsparameter. Hierbei kann jedes bestehende Diffusionsmodell angewendet werden, das Bilder oder Videos in PBR-Materialien umwandeln kann. Die Vorhersagen werden weiter in die 3D-Darstellung integriert, entweder durch Optimierung eines bildbasierten Loss oder durch direktes Projizieren der Materialparameter auf die Gaussians unter Verwendung von Gaussian Raytracing. Um die Genauigkeit im feinen Maßstab und die Mehransichtskonsistenz zu verbessern, führen wir zusätzlich einen leichtgewichtigen neuronalen Verfeinerungsschritt (Neural Merger) ein, der raygetraced Materialeigenschaften als Eingabe verwendet und detaillierte Anpassungen erzeugt. Unsere Ergebnisse zeigen, dass die vorgeschlagenen Methoden bestehende Techniken sowohl in quantitativen Metriken als auch in der wahrgenommenen visuellen Realitätsnähe übertreffen. Dies ermöglicht genauere, neu beleuchtbare und fotorealistische Renderings aus rekonstruierten Szenen und verbessert die Realitätsnähe und Effizienz von Asset-Erstellungsworkflows in Content-Produktionspipelines erheblich.
English
Manual modeling of material parameters and 3D geometry is a time consuming yet essential task in the gaming and film industries. While recent advances in 3D reconstruction have enabled accurate approximations of scene geometry and appearance, these methods often fall short in relighting scenarios due to the lack of precise, spatially varying material parameters. At the same time, diffusion models operating on 2D images have shown strong performance in predicting physically based rendering (PBR) properties such as albedo, roughness, and metallicity. However, transferring these 2D material maps onto reconstructed 3D geometry remains a significant challenge. We propose a framework for fusing 2D material data into 3D geometry using a combination of novel learning-based and projection-based approaches. We begin by reconstructing scene geometry via Gaussian Splatting. From the input images, a diffusion model generates 2D maps for albedo, roughness, and metallic parameters. Any existing diffusion model that can convert images or videos to PBR materials can be applied. The predictions are further integrated into the 3D representation either by optimizing an image-based loss or by directly projecting the material parameters onto the Gaussians using Gaussian ray tracing. To enhance fine-scale accuracy and multi-view consistency, we further introduce a light-weight neural refinement step (Neural Merger), which takes ray-traced material features as input and produces detailed adjustments. Our results demonstrate that the proposed methods outperform existing techniques in both quantitative metrics and perceived visual realism. This enables more accurate, relightable, and photorealistic renderings from reconstructed scenes, significantly improving the realism and efficiency of asset creation workflows in content production pipelines.