MatSpray: Integrazione della Conoscenza dei Materiali 2D sulla Geometria Tridimensionale

MatSpray: Fusing 2D Material World Knowledge on 3D Geometry

December 20, 2025

Autori: Philipp Langsteiner, Jan-Niklas Dihlmann, Hendrik P. A. Lensch

cs.AI

Abstract

La modellazione manuale dei parametri materiali e della geometria 3D è un'operazione essenziale ma dispendiosa in termini di tempo nell'industria dei videogiochi e del cinema. Sebbene i recenti progressi nella ricostruzione 3D abbiano consentito approssimazioni accurate della geometria e dell'aspetto di una scena, questi metodi spesso risultano carenti negli scenari di re-illuminazione a causa della mancanza di parametri materiali precisi e spazialmente variabili. Allo stesso tempo, i modelli di diffusione che operano su immagini 2D hanno dimostrato elevate prestazioni nella previsione di proprietà di rendering fisicamente basato (PBR) come albedo, ruvidezza e metallicità. Tuttavia, il trasferimento di queste mappe materiali 2D sulla geometria 3D ricostruita rimane una sfida significativa. Proponiamo un framework per fondere dati materiali 2D in geometrie 3D utilizzando una combinazione di approcci innovativi basati sull'apprendimento e sulla proiezione. Iniziamo ricostruendo la geometria della scena tramite Gaussian Splatting. A partire dalle immagini di input, un modello di diffusione genera mappe 2D per i parametri di albedo, ruvidezza e metallicità. Qualsiasi modello di diffusione esistente in grado di convertire immagini o video in materiali PBR può essere applicato. Le previsioni vengono ulteriormente integrate nella rappresentazione 3D ottimizzando una loss basata sull'immagine o proiettando direttamente i parametri materiali sui Gaussian utilizzando il ray tracing gaussiano. Per migliorare la precisione su scala fine e la coerenza multi-vista, introduciamo inoltre una fase di raffinamento neurale leggera (Neural Merger), che prende come input le caratteristiche materiali calcolate con ray tracing e produce aggiustamenti dettagliati. I nostri risultati dimostrano che i metodi proposti superano le tecniche esistenti sia nelle metriche quantitative che nel realismo visivo percepito. Ciò consente rendering più accurati, re-illuminabili e fotorealistici da scene ricostruite, migliorando significativamente il realismo e l'efficienza dei flussi di lavoro di creazione degli asset nelle pipeline di produzione di contenuti.

English

Manual modeling of material parameters and 3D geometry is a time consuming yet essential task in the gaming and film industries. While recent advances in 3D reconstruction have enabled accurate approximations of scene geometry and appearance, these methods often fall short in relighting scenarios due to the lack of precise, spatially varying material parameters. At the same time, diffusion models operating on 2D images have shown strong performance in predicting physically based rendering (PBR) properties such as albedo, roughness, and metallicity. However, transferring these 2D material maps onto reconstructed 3D geometry remains a significant challenge. We propose a framework for fusing 2D material data into 3D geometry using a combination of novel learning-based and projection-based approaches. We begin by reconstructing scene geometry via Gaussian Splatting. From the input images, a diffusion model generates 2D maps for albedo, roughness, and metallic parameters. Any existing diffusion model that can convert images or videos to PBR materials can be applied. The predictions are further integrated into the 3D representation either by optimizing an image-based loss or by directly projecting the material parameters onto the Gaussians using Gaussian ray tracing. To enhance fine-scale accuracy and multi-view consistency, we further introduce a light-weight neural refinement step (Neural Merger), which takes ray-traced material features as input and produces detailed adjustments. Our results demonstrate that the proposed methods outperform existing techniques in both quantitative metrics and perceived visual realism. This enables more accurate, relightable, and photorealistic renderings from reconstructed scenes, significantly improving the realism and efficiency of asset creation workflows in content production pipelines.