MatSpray: Integratie van 2D-materiaalkennis op 3D-geometrie
MatSpray: Fusing 2D Material World Knowledge on 3D Geometry
December 20, 2025
Auteurs: Philipp Langsteiner, Jan-Niklas Dihlmann, Hendrik P. A. Lensch
cs.AI
Samenvatting
Het handmatig modelleren van materiaalparameters en 3D-geometrie is een tijdrovende maar essentiële taak in de gaming- en filmindustrieën. Hoewel recente vooruitgang in 3D-reconstructie nauwkeurige benaderingen van scènegeometrie en -uitstraling mogelijk heeft gemaakt, schieten deze methoden vaak tekort in belichtingsscenario's door een gebrek aan precieze, ruimtelijk variërende materiaalparameters. Tegelijkertijd hebben diffusiemodellen die werken op 2D-beelden sterke prestaties getoond in het voorspellen van fysiek gebaseerde rendering (PBR) eigenschappen zoals albedo, ruwheid en metalliciteit. Het overbrengen van deze 2D-materiaalkaarten op gereconstrueerde 3D-geometrie blijft echter een grote uitdaging. Wij stellen een raamwerk voor voor het samenvoegen van 2D-materiaaldata in 3D-geometrie met een combinatie van nieuwe, op leren gebaseerde en projectiegebaseerde benaderingen. We beginnen met het reconstrueren van scènegeometrie via Gaussian Splatting. Uit de invoerbeelden genereert een diffusiemodel 2D-kaarten voor albedo-, ruwheid- en metalliciteitsparameters. Elk bestaand diffusiemodel dat beelden of video's naar PBR-materialen kan converteren, is toepasbaar. De voorspellingen worden verder geïntegreerd in de 3D-representatie door het optimaliseren van een op beelden gebaseerd verlies of door de materiaalparameters rechtstreeks op de Gaussians te projecteren met behulp van Gaussian ray tracing. Om de nauwkeurigheid op fijne schaal en multi-view consistentie te verbeteren, introduceren we een lichtgewicht neurale verfijningsstap (Neural Merger), die geraytracete materiaalkenmerken als invoer neemt en gedetailleerde aanpassingen produceert. Onze resultaten tonen aan dat de voorgestelde methoden bestaande technieken overtreffen in zowel kwantitatieve metrieken als waargenomen visuele realisme. Dit maakt nauwkeurigere, herbelichtbare en fotorealistische weergaven mogelijk vanuit gereconstrueerde scènes, wat het realisme en de efficiëntie van assetcreatie-workflows in contentproductiepijplijnen aanzienlijk verbetert.
English
Manual modeling of material parameters and 3D geometry is a time consuming yet essential task in the gaming and film industries. While recent advances in 3D reconstruction have enabled accurate approximations of scene geometry and appearance, these methods often fall short in relighting scenarios due to the lack of precise, spatially varying material parameters. At the same time, diffusion models operating on 2D images have shown strong performance in predicting physically based rendering (PBR) properties such as albedo, roughness, and metallicity. However, transferring these 2D material maps onto reconstructed 3D geometry remains a significant challenge. We propose a framework for fusing 2D material data into 3D geometry using a combination of novel learning-based and projection-based approaches. We begin by reconstructing scene geometry via Gaussian Splatting. From the input images, a diffusion model generates 2D maps for albedo, roughness, and metallic parameters. Any existing diffusion model that can convert images or videos to PBR materials can be applied. The predictions are further integrated into the 3D representation either by optimizing an image-based loss or by directly projecting the material parameters onto the Gaussians using Gaussian ray tracing. To enhance fine-scale accuracy and multi-view consistency, we further introduce a light-weight neural refinement step (Neural Merger), which takes ray-traced material features as input and produces detailed adjustments. Our results demonstrate that the proposed methods outperform existing techniques in both quantitative metrics and perceived visual realism. This enables more accurate, relightable, and photorealistic renderings from reconstructed scenes, significantly improving the realism and efficiency of asset creation workflows in content production pipelines.