ReLi3D: 照明分離型リライタブル多視点3D再構成

ReLi3D: Relightable Multi-view 3D Reconstruction with Disentangled Illumination

March 20, 2026

著者: Jan-Niklas Dihlmann, Mark Boss, Simon Donne, Andreas Engelhardt, Hendrik P. A. Lensch, Varun Jampani

cs.AI

要旨

画像からの3Dアセット再構築は、従来、ジオメトリ再構築、マテリアル推定、照明回復それぞれに個別のパイプラインを必要とし、それぞれが異なる制約と計算コストを伴ってきました。本論文では、まばらなマルチビュー画像から、1秒未満で完全な3Dジオメトリ、空間的に変化する物理ベースマテリアル、環境照明を同時に再構築する、初の統合されたエンドツーエンドパイプラインであるReLi3Dを提案します。私たちの重要な知見は、マルチビューの制約が、単一画像手法では本質的に不良設定問題であるマテリアルと照明の分離を劇的に改善できる点です。私たちのアプローチの核心は、トランスフォーマーの相互条件付けアーキテクチャによるマルチビュー入力の融合と、それに続く新しい統合型二経路予測戦略にあります。第一の経路はオブジェクトの構造と外観を予測し、第二の経路は画像背景またはオブジェクトの反射から環境照明を予測します。これに、微分可能なモンテカルロ多重重点サンプリングレンダラーを組み合わせることで、最適な照明分離トレーニングパイプラインを構築します。さらに、合成PBRデータセットと実世界のRGBキャプチャを組み合わせた混合ドメイントレーニングプロトコルにより、ジオメトリ、マテリアル精度、照明品質において一般化可能な結果を実現しています。従来個別だった再構築タスクを単一の順伝搬処理に統合することで、完全で再照明可能な3Dアセットを瞬時に生成することを可能にします。プロジェクトページ: https://reli3d.jdihlmann.com/

English

Reconstructing 3D assets from images has long required separate pipelines for geometry reconstruction, material estimation, and illumination recovery, each with distinct limitations and computational overhead. We present ReLi3D, the first unified end-to-end pipeline that simultaneously reconstructs complete 3D geometry, spatially-varying physically-based materials, and environment illumination from sparse multi-view images in under one second. Our key insight is that multi-view constraints can dramatically improve material and illumination disentanglement, a problem that remains fundamentally ill-posed for single-image methods. Key to our approach is the fusion of the multi-view input via a transformer cross-conditioning architecture, followed by a novel unified two-path prediction strategy. The first path predicts the object's structure and appearance, while the second path predicts the environment illumination from image background or object reflections. This, combined with a differentiable Monte Carlo multiple importance sampling renderer, creates an optimal illumination disentanglement training pipeline. In addition, with our mixed domain training protocol, which combines synthetic PBR datasets with real-world RGB captures, we establish generalizable results in geometry, material accuracy, and illumination quality. By unifying previously separate reconstruction tasks into a single feed-forward pass, we enable near-instantaneous generation of complete, relightable 3D assets. Project Page: https://reli3d.jdihlmann.com/