ReLi3D: 분리된 조명을 활용한 재조명 가능한 다중 시점 3D 재구성

ReLi3D: Relightable Multi-view 3D Reconstruction with Disentangled Illumination

March 20, 2026

저자: Jan-Niklas Dihlmann, Mark Boss, Simon Donne, Andreas Engelhardt, Hendrik P. A. Lensch, Varun Jampani

cs.AI

초록

이미지로부터 3D 자산을 재구성하는 작업은 오랫동안 형상 재구성, 재질 추정, 조명 복원을 위한 별도의 파이프라인이 필요했으며, 각각 고유한 한계와 계산 부담이 있었습니다. 본 논문에서는 희소 다중 뷰 이미지로부터 완전한 3D 형상, 물리 기반 공간 변이 재질, 환경 조명을 1초 미만으로 동시에 재구성하는 최초의 통합 end-to-end 파이프라인인 ReLi3D를 제시합니다. 우리의 핵심 통찰은 다중 뷰 제약이 단일 이미지 방법에서는 근본적으로 ill-posed 문제로 남아 있는 재질과 조명의 분리 문제를 극적으로 개선할 수 있다는 점입니다. 우리 접근법의 핵심은 트랜스포머 크로스 컨디셔닝 아키텍처를 통한 다중 뷰 입력의 융합과, 이어지는 새로운 통합 이중 경로 예측 전략입니다. 첫 번째 경로는 객체의 구조와 외관을 예측하는 반면, 두 번째 경로는 이미지 배경이나 객체 반사로부터 환경 조명을 예측합니다. 이는 미분 가능한 몬테카를로 다중 중요도 샘플링 렌더러와 결합되어 최적의 조명 분리 학습 파이프라인을 구성합니다. 또한, 합성 PBR 데이터셋과 실제 RGB 캡처를 결합한 혼합 도메인 학습 프로토콜을 통해 형상, 재질 정확도, 조명 품질에서 일반화 가능한 결과를 달성합니다. 기존에 분리되었던 재구성 작업들을 단일 순전파 과정으로 통합함으로써 완전한 재조명 가능 3D 자산의 거의 즉시 생성이 가능해집니다. 프로젝트 페이지: https://reli3d.jdihlmann.com/

English

Reconstructing 3D assets from images has long required separate pipelines for geometry reconstruction, material estimation, and illumination recovery, each with distinct limitations and computational overhead. We present ReLi3D, the first unified end-to-end pipeline that simultaneously reconstructs complete 3D geometry, spatially-varying physically-based materials, and environment illumination from sparse multi-view images in under one second. Our key insight is that multi-view constraints can dramatically improve material and illumination disentanglement, a problem that remains fundamentally ill-posed for single-image methods. Key to our approach is the fusion of the multi-view input via a transformer cross-conditioning architecture, followed by a novel unified two-path prediction strategy. The first path predicts the object's structure and appearance, while the second path predicts the environment illumination from image background or object reflections. This, combined with a differentiable Monte Carlo multiple importance sampling renderer, creates an optimal illumination disentanglement training pipeline. In addition, with our mixed domain training protocol, which combines synthetic PBR datasets with real-world RGB captures, we establish generalizable results in geometry, material accuracy, and illumination quality. By unifying previously separate reconstruction tasks into a single feed-forward pass, we enable near-instantaneous generation of complete, relightable 3D assets. Project Page: https://reli3d.jdihlmann.com/