ReLi3D: Herbelichtbare multiview 3D-reconstructie met ontvlochten belichting
ReLi3D: Relightable Multi-view 3D Reconstruction with Disentangled Illumination
March 20, 2026
Auteurs: Jan-Niklas Dihlmann, Mark Boss, Simon Donne, Andreas Engelhardt, Hendrik P. A. Lensch, Varun Jampani
cs.AI
Samenvatting
Het reconstrueren van 3D-assets uit afbeeldingen vereiste lange tijd gescheiden pijplijnen voor geometriereconstructie, materiaalschatting en illuminatieherstel, elk met eigen beperkingen en rekenkosten. Wij presenteren ReLi3D, de eerste geünificeerde end-to-end pijplijn die gelijktijdig complete 3D-geometrie, ruimtelijk variërende fysiek gebaseerde materialen en omgevingsverlichting reconstrueert uit schaarse multi-view afbeeldingen in minder dan één seconde. Onze belangrijkste inzicht is dat multi-view beperkingen de ontwarring van materialen en verlichting aanzienlijk kunnen verbeteren, een probleem dat fundamenteel slecht gesteld blijft voor single-view methoden. De kern van onze aanpak is de fusie van de multi-view invoer via een transformer cross-conditioning architectuur, gevolgd door een nieuwe geünificeerde tweesporen voorspellingsstrategie. Het eerste pad voorspelt de structuur en het uiterlijk van het object, terwijl het tweede pad de omgevingsverlichting voorspelt uit de achtergrond van de afbeelding of reflecties van het object. Dit, gecombineerd met een differentieerbare Monte Carlo multiple importance sampling renderer, creëert een optimale trainingspijplijn voor illuminatie-ontwarring. Daarnaast bereiken we met ons mixed-domain trainingsprotocol, dat synthetische PBR-datasets combineert met real-world RGB-opnames, generaliseerbare resultaten op het gebied van geometrie, materiaalnauwkeurigheid en verlichtingskwaliteit. Door voorheen gescheiden reconstructietaken te verenigen in een enkele voorwaartse pass, maken we bijna onmiddellijke generatie van complete, herbelichtbare 3D-assets mogelijk. Projectpagina: https://reli3d.jdihlmann.com/
English
Reconstructing 3D assets from images has long required separate pipelines for geometry reconstruction, material estimation, and illumination recovery, each with distinct limitations and computational overhead. We present ReLi3D, the first unified end-to-end pipeline that simultaneously reconstructs complete 3D geometry, spatially-varying physically-based materials, and environment illumination from sparse multi-view images in under one second. Our key insight is that multi-view constraints can dramatically improve material and illumination disentanglement, a problem that remains fundamentally ill-posed for single-image methods. Key to our approach is the fusion of the multi-view input via a transformer cross-conditioning architecture, followed by a novel unified two-path prediction strategy. The first path predicts the object's structure and appearance, while the second path predicts the environment illumination from image background or object reflections. This, combined with a differentiable Monte Carlo multiple importance sampling renderer, creates an optimal illumination disentanglement training pipeline. In addition, with our mixed domain training protocol, which combines synthetic PBR datasets with real-world RGB captures, we establish generalizable results in geometry, material accuracy, and illumination quality. By unifying previously separate reconstruction tasks into a single feed-forward pass, we enable near-instantaneous generation of complete, relightable 3D assets. Project Page: https://reli3d.jdihlmann.com/