MatSpray: 3Dジオメトリへの2D材料世界知識の融合

MatSpray: Fusing 2D Material World Knowledge on 3D Geometry

December 20, 2025

著者: Philipp Langsteiner, Jan-Niklas Dihlmann, Hendrik P. A. Lensch

cs.AI

要旨

素材パラメータと3Dジオメトリの手動モデリングは、ゲームや映画産業において時間を要するが不可欠な作業である。近年の3D再構成技術の進歩により、シーンのジオメトリと見た目の正確な近似が可能となったが、こうした手法は、精密な空間変動素材パラメータの不足から、リライティングシナリオでは不十分な場合が多い。一方、2D画像に作用する拡散モデルは、アルベド、粗さ、金属度といった物理ベースレンダリング（PBR）特性の予測において優れた性能を示している。しかし、これらの2D素材マップを再構成された3Dジオメトリに転写することは依然として大きな課題である。本研究では、新規の学習ベース手法と投影ベース手法を組み合わせて、2D素材データを3Dジオメトリに融合するフレームワークを提案する。まず、ガウススプラッティングによるシーンジオメトリの再構成から開始する。入力画像から、拡散モデルがアルベド、粗さ、金属度パラメータの2Dマップを生成する。画像や動画をPBR素材に変換可能な既存の拡散モデルは全て適用できる。これらの予測は、画像ベースの損失を最適化するか、ガウス光線追跡を用いて素材パラメータを直接ガウシアンに投影することにより、3D表現にさらに統合される。微細な精度と多視点一貫性を高めるため、光線追跡された素材特徴を入力として詳細な調整を行う軽量な神経精緻化ステップ（Neural Merger）を追加で導入する。結果により、提案手法が定量的指標と知覚される視覚的真实感の両方において既存技術を凌駕することを示す。これにより、再構成シーンからより正確でリライト可能かつ写実的なレンダリングが可能となり、コンテンツ制作パイプラインにおけるアセット作成ワークフローの真实感と効率が大幅に向上する。

English

Manual modeling of material parameters and 3D geometry is a time consuming yet essential task in the gaming and film industries. While recent advances in 3D reconstruction have enabled accurate approximations of scene geometry and appearance, these methods often fall short in relighting scenarios due to the lack of precise, spatially varying material parameters. At the same time, diffusion models operating on 2D images have shown strong performance in predicting physically based rendering (PBR) properties such as albedo, roughness, and metallicity. However, transferring these 2D material maps onto reconstructed 3D geometry remains a significant challenge. We propose a framework for fusing 2D material data into 3D geometry using a combination of novel learning-based and projection-based approaches. We begin by reconstructing scene geometry via Gaussian Splatting. From the input images, a diffusion model generates 2D maps for albedo, roughness, and metallic parameters. Any existing diffusion model that can convert images or videos to PBR materials can be applied. The predictions are further integrated into the 3D representation either by optimizing an image-based loss or by directly projecting the material parameters onto the Gaussians using Gaussian ray tracing. To enhance fine-scale accuracy and multi-view consistency, we further introduce a light-weight neural refinement step (Neural Merger), which takes ray-traced material features as input and produces detailed adjustments. Our results demonstrate that the proposed methods outperform existing techniques in both quantitative metrics and perceived visual realism. This enables more accurate, relightable, and photorealistic renderings from reconstructed scenes, significantly improving the realism and efficiency of asset creation workflows in content production pipelines.