MatSpray: Integración de Conocimiento del Mundo de los Materiales 2D en Geometría 3D

MatSpray: Fusing 2D Material World Knowledge on 3D Geometry

December 20, 2025

Autores: Philipp Langsteiner, Jan-Niklas Dihlmann, Hendrik P. A. Lensch

cs.AI

Resumen

El modelado manual de parámetros materiales y geometría 3D es una tarea que consume tiempo pero esencial en las industrias del videojuego y el cine. Si bien los avances recientes en reconstrucción 3D han permitido aproximaciones precisas de la geometría y apariencia de las escenas, estos métodos a menudo fallan en escenarios de reluz debido a la falta de parámetros materiales precisos y espacialmente variables. Al mismo tiempo, los modelos de difusión que operan sobre imágenes 2D han demostrado un gran rendimiento en la predicción de propiedades de renderizado basado en física (PBR), como albedo, rugosidad y metalicidad. Sin embargo, transferir estos mapas materiales 2D a geometrías 3D reconstruidas sigue siendo un desafío significativo. Proponemos un marco para fusionar datos materiales 2D en geometría 3D utilizando una combinación de nuevos enfoques basados en aprendizaje y en proyección. Comenzamos reconstruyendo la geometría de la escena mediante *Gaussian Splatting*. A partir de las imágenes de entrada, un modelo de difusión genera mapas 2D para los parámetros de albedo, rugosidad y metalicidad. Se puede aplicar cualquier modelo de difusión existente que pueda convertir imágenes o videos en materiales PBR. Las predicciones se integran aún más en la representación 3D, ya sea optimizando una pérdida basada en imagen o proyectando directamente los parámetros materiales sobre los Gaussianos utilizando el trazado de rayos de Gaussianos. Para mejorar la precisión a pequeña escala y la consistencia multi-vista, introducimos además un paso de refinamiento neuronal ligero (*Neural Merger*), que toma características materiales calculadas por trazado de rayos como entrada y produce ajustes detallados. Nuestros resultados demuestran que los métodos propuestos superan a las técnicas existentes tanto en métricas cuantitativas como en realismo visual percibido. Esto permite renderizados más precisos, reluzables y fotorrealistas a partir de escenas reconstruidas, mejorando significativamente el realismo y la eficiencia de los flujos de trabajo de creación de activos en las pipelines de producción de contenido.

English

Manual modeling of material parameters and 3D geometry is a time consuming yet essential task in the gaming and film industries. While recent advances in 3D reconstruction have enabled accurate approximations of scene geometry and appearance, these methods often fall short in relighting scenarios due to the lack of precise, spatially varying material parameters. At the same time, diffusion models operating on 2D images have shown strong performance in predicting physically based rendering (PBR) properties such as albedo, roughness, and metallicity. However, transferring these 2D material maps onto reconstructed 3D geometry remains a significant challenge. We propose a framework for fusing 2D material data into 3D geometry using a combination of novel learning-based and projection-based approaches. We begin by reconstructing scene geometry via Gaussian Splatting. From the input images, a diffusion model generates 2D maps for albedo, roughness, and metallic parameters. Any existing diffusion model that can convert images or videos to PBR materials can be applied. The predictions are further integrated into the 3D representation either by optimizing an image-based loss or by directly projecting the material parameters onto the Gaussians using Gaussian ray tracing. To enhance fine-scale accuracy and multi-view consistency, we further introduce a light-weight neural refinement step (Neural Merger), which takes ray-traced material features as input and produces detailed adjustments. Our results demonstrate that the proposed methods outperform existing techniques in both quantitative metrics and perceived visual realism. This enables more accurate, relightable, and photorealistic renderings from reconstructed scenes, significantly improving the realism and efficiency of asset creation workflows in content production pipelines.