MatSpray: 3D 형상에 2D 재료 세계 지식 융합하기

초록

재료 매개변수와 3D 형상의 수동 모델링은 게임 및 영화 산업에서 시간이 많이 소요되지만 필수적인 작업입니다. 최근 3D 재구성 기술의 발전으로 장면 형상과 외관을 정확하게 근사화할 수 있게 되었지만, 이러한 방법들은 정밀한 공간 변동 재료 매개변수의 부족으로 인해 재조명 시나리오에서 종종 한계를 보입니다. 동시에 2D 이미지 기반 확산 모델들은 알베도, 거칠기, 금속성 등 물리 기반 렌더링(PBR) 속성 예측에서 강력한 성능을 보여주고 있습니다. 그러나 이러한 2D 재료 맵을 재구성된 3D 형상에 전사하는 것은 여전히 큰 과제로 남아 있습니다. 우리는 새로운 학습 기반 및 투영 기반 접근법을 결합하여 2D 재료 데이터를 3D 형상에 융합하는 프레임워크를 제안합니다. 먼저 Gaussian Splatting을 통해 장면 형상을 재구성합니다. 입력 이미지로부터 확산 모델이 알베도, 거칠기, 금속성 매개변수에 대한 2D 맵을 생성합니다. 이미지나 비디오를 PBR 재료로 변환할 수 있는 기존 확산 모델은 모두 적용 가능합니다. 예측 결과는 이미지 기반 손실 최적화 또는 Gaussian 레이 트레이싱을 사용하여 재료 매개변수를 Gaussian에 직접 투영함으로써 3D 표현에 통합됩니다. 미세 규모 정확도와 다중 시점 일관성을 향상시키기 위해, 우리는 레이 트레이싱된 재료 특징을 입력으로 받아 세부 조정을 생성하는 경량 신경망 정제 단계(Neural Merger)를 추가로 도입합니다. 우리의 결과는 제안 방법이 정량적 지표와 지각적 시각적 사실감 모두에서 기존 기술을 능가함을 보여줍니다. 이를 통해 재구성된 장면으로부터 더 정확하고 재조명 가능하며 사실적인 렌더링이 가능해져, 콘텐츠 제작 파이프라인에서 에셋 생성 워크플로우의 사실성과 효율성을 크게 향상시킵니다.

English

Manual modeling of material parameters and 3D geometry is a time consuming yet essential task in the gaming and film industries. While recent advances in 3D reconstruction have enabled accurate approximations of scene geometry and appearance, these methods often fall short in relighting scenarios due to the lack of precise, spatially varying material parameters. At the same time, diffusion models operating on 2D images have shown strong performance in predicting physically based rendering (PBR) properties such as albedo, roughness, and metallicity. However, transferring these 2D material maps onto reconstructed 3D geometry remains a significant challenge. We propose a framework for fusing 2D material data into 3D geometry using a combination of novel learning-based and projection-based approaches. We begin by reconstructing scene geometry via Gaussian Splatting. From the input images, a diffusion model generates 2D maps for albedo, roughness, and metallic parameters. Any existing diffusion model that can convert images or videos to PBR materials can be applied. The predictions are further integrated into the 3D representation either by optimizing an image-based loss or by directly projecting the material parameters onto the Gaussians using Gaussian ray tracing. To enhance fine-scale accuracy and multi-view consistency, we further introduce a light-weight neural refinement step (Neural Merger), which takes ray-traced material features as input and produces detailed adjustments. Our results demonstrate that the proposed methods outperform existing techniques in both quantitative metrics and perceived visual realism. This enables more accurate, relightable, and photorealistic renderings from reconstructed scenes, significantly improving the realism and efficiency of asset creation workflows in content production pipelines.

MatSpray: 3D 형상에 2D 재료 세계 지식 융합하기

MatSpray: Fusing 2D Material World Knowledge on 3D Geometry

초록

Support