MatSpray: Fusão de Conhecimento de Materiais 2D na Geometria 3D
MatSpray: Fusing 2D Material World Knowledge on 3D Geometry
December 20, 2025
Autores: Philipp Langsteiner, Jan-Niklas Dihlmann, Hendrik P. A. Lensch
cs.AI
Resumo
A modelagem manual de parâmetros materiais e geometria 3D é uma tarefa demorada, porém essencial, nas indústrias de jogos e cinema. Embora avanços recentes em reconstrução 3D tenham possibilitado aproximações precisas da geometria e aparência de cenas, esses métodos frequentemente falham em cenários de rerrenderização devido à falta de parâmetros materiais precisos e espacialmente variáveis. Paralelamente, modelos de difusão que operam em imagens 2D demonstraram forte desempenho na previsão de propriedades de renderização com base física (PBR), como albedo, rugosidade e metalicidade. No entanto, transferir esses mapas materiais 2D para geometrias 3D reconstruídas permanece um desafio significativo. Propomos uma estrutura para fusão de dados materiais 2D em geometria 3D usando uma combinação de novas abordagens baseadas em aprendizado e projeção. Iniciamos reconstruindo a geometria da cena via *Gaussian Splatting*. A partir das imagens de entrada, um modelo de difusão gera mapas 2D para os parâmetros de albedo, rugosidade e metalicidade. Qualquer modelo de difusão existente capaz de converter imagens ou vídeos em materiais PBR pode ser aplicado. As previsões são então integradas na representação 3D, seja otimizando uma função de perda baseada em imagem, seja projetando diretamente os parâmetros materiais sobre os Gaussianos usando *ray tracing* Gaussiano. Para melhorar a precisão em escala fina e a consistência multi-visada, introduzimos ainda uma etapa de refinamento neural leve (*Neural Merger*), que recebe características materiais calculadas por *ray tracing* como entrada e produz ajustes detalhados. Nossos resultados demonstram que os métodos propostos superam as técnicas existentes tanto em métricas quantitativas quanto no realismo visual percebido. Isso possibilita renderizações mais precisas, rerrenderizáveis e fotorrealistas a partir de cenas reconstruídas, melhorando significativamente o realismo e a eficiência dos fluxos de trabalho de criação de *assets* em pipelines de produção de conteúdo.
English
Manual modeling of material parameters and 3D geometry is a time consuming yet essential task in the gaming and film industries. While recent advances in 3D reconstruction have enabled accurate approximations of scene geometry and appearance, these methods often fall short in relighting scenarios due to the lack of precise, spatially varying material parameters. At the same time, diffusion models operating on 2D images have shown strong performance in predicting physically based rendering (PBR) properties such as albedo, roughness, and metallicity. However, transferring these 2D material maps onto reconstructed 3D geometry remains a significant challenge. We propose a framework for fusing 2D material data into 3D geometry using a combination of novel learning-based and projection-based approaches. We begin by reconstructing scene geometry via Gaussian Splatting. From the input images, a diffusion model generates 2D maps for albedo, roughness, and metallic parameters. Any existing diffusion model that can convert images or videos to PBR materials can be applied. The predictions are further integrated into the 3D representation either by optimizing an image-based loss or by directly projecting the material parameters onto the Gaussians using Gaussian ray tracing. To enhance fine-scale accuracy and multi-view consistency, we further introduce a light-weight neural refinement step (Neural Merger), which takes ray-traced material features as input and produces detailed adjustments. Our results demonstrate that the proposed methods outperform existing techniques in both quantitative metrics and perceived visual realism. This enables more accurate, relightable, and photorealistic renderings from reconstructed scenes, significantly improving the realism and efficiency of asset creation workflows in content production pipelines.