MatSpray : Fusion des connaissances sur les matériaux 2D avec la géométrie 3D
MatSpray: Fusing 2D Material World Knowledge on 3D Geometry
December 20, 2025
papers.authors: Philipp Langsteiner, Jan-Niklas Dihlmann, Hendrik P. A. Lensch
cs.AI
papers.abstract
La modélisation manuelle des paramètres matériaux et de la géométrie 3D est une tâche chronophage mais essentielle dans les industries du jeu vidéo et du cinéma. Si les progrès récents en reconstruction 3D ont permis d'approximer avec précision la géométrie et l'apparence des scènes, ces méthodes échouent souvent dans les scénarios de rééclairage en raison de l'absence de paramètres matériaux précis et variant spatialement. Parallèlement, les modèles de diffusion opérant sur des images 2D ont démontré de fortes performances dans la prédiction de propriétés de rendu physiquement réaliste (PBR) telles que l'albédo, la rugosité et la métallicité. Cependant, le transfert de ces cartes de matériaux 2D vers une géométrie 3D reconstruite reste un défi majeur. Nous proposons un cadre pour fusionner des données matérielles 2D dans une géométrie 3D en combinant de nouvelles approches basées sur l'apprentissage et sur la projection. Nous commençons par reconstruire la géométrie de la scène via la méthode du *Gaussian Splatting*. À partir des images d'entrée, un modèle de diffusion génère des cartes 2D pour les paramètres d'albédo, de rugosité et de métallicité. Tout modèle de diffusion existant capable de convertir des images ou des vidéos en matériaux PBR peut être appliqué. Les prédictions sont ensuite intégrées dans la représentation 3D soit en optimisant une fonction de coût basée sur l'image, soit en projetant directement les paramètres matériaux sur les Gaussiennes à l'aide du lancer de rayons Gaussien. Pour améliorer la précision à fine échelle et la cohérence multi-vues, nous introduisons une étape de raffinement neuronal léger (*Neural Merger*), qui prend en entrée des caractéristiques matériaux calculées par lancer de rayons et produit des ajustements détaillés. Nos résultats démontrent que les méthodes proposées surpassent les techniques existantes à la fois selon des métriques quantitatives et en termes de réalisme visuel perçu. Cela permet des rendus plus précis, rééclairables et photoréalistes à partir de scènes reconstruites, améliorant significativement le réalisme et l'efficacité des flux de travail de création d'assets dans les pipelines de production de contenu.
English
Manual modeling of material parameters and 3D geometry is a time consuming yet essential task in the gaming and film industries. While recent advances in 3D reconstruction have enabled accurate approximations of scene geometry and appearance, these methods often fall short in relighting scenarios due to the lack of precise, spatially varying material parameters. At the same time, diffusion models operating on 2D images have shown strong performance in predicting physically based rendering (PBR) properties such as albedo, roughness, and metallicity. However, transferring these 2D material maps onto reconstructed 3D geometry remains a significant challenge. We propose a framework for fusing 2D material data into 3D geometry using a combination of novel learning-based and projection-based approaches. We begin by reconstructing scene geometry via Gaussian Splatting. From the input images, a diffusion model generates 2D maps for albedo, roughness, and metallic parameters. Any existing diffusion model that can convert images or videos to PBR materials can be applied. The predictions are further integrated into the 3D representation either by optimizing an image-based loss or by directly projecting the material parameters onto the Gaussians using Gaussian ray tracing. To enhance fine-scale accuracy and multi-view consistency, we further introduce a light-weight neural refinement step (Neural Merger), which takes ray-traced material features as input and produces detailed adjustments. Our results demonstrate that the proposed methods outperform existing techniques in both quantitative metrics and perceived visual realism. This enables more accurate, relightable, and photorealistic renderings from reconstructed scenes, significantly improving the realism and efficiency of asset creation workflows in content production pipelines.