3D-RE-GEN: 3D-reconstructie van binnenscènes met een generatief raamwerk
3D-RE-GEN: 3D Reconstruction of Indoor Scenes with a Generative Framework
December 19, 2025
Auteurs: Tobias Sautter, Jan-Niklas Dihlmann, Hendrik P. A. Lensch
cs.AI
Samenvatting
Recente vooruitgang in 3D-scènegeneratie levert visueel aantrekkelijke resultaten op, maar huidige representaties belemmeren de workflows van artiesten die aanpasbare 3D-textuurmeshscènes nodig hebben voor visuele effecten en game-ontwikkeling. Ondanks significante vooruitgang zijn huidige methoden voor textuurmeshscène-reconstructie verre van gereed voor gebruik door artiesten; ze lijden onder incorrecte objectdecompositie, onnauwkeurige ruimtelijke relaties en ontbrekende achtergronden. Wij presenteren 3D-RE-GEN, een compositioneel framework dat een enkele afbeelding reconstrueert naar textuur-3D-objecten en een achtergrond. Wij tonen aan dat het combineren van state-of-the-art modellen uit specifieke domeinen state-of-the-art scènegereconstructieprestaties bereikt, waarbij wordt voldaan aan de vereisten van artiesten.
Onze reconstructiepipeline integreert modellen voor asset-detectie, reconstructie en plaatsing, waarbij bepaalde modellen verder worden gepusht dan hun oorspronkelijk beoogde domeinen. Het verkrijgen van geoccludeerde objecten wordt behandeld als een beeldbewerkings-taak met generatieve modellen om af te leiden en te reconstrueren met sceneniveau-redenering onder consistente belichting en geometrie. In tegenstelling tot huidige methoden genereert 3D-RE-GEN een uitgebreide achtergrond die objecten ruimtelijk begrenst tijdens optimalisatie en een basis biedt voor realistische belichting- en simulatietaken in visuele effecten en games. Om fysiek realistische lay-outs te verkrijgen, gebruiken we een nieuwe 4-DoF differentieerbare optimalisatie die gereconstrueerde objecten uitlijnt met het geschatte grondvlak. 3D-RE-GEN bereikt state-of-the-art prestaties in 3D-scènegereconstructie vanuit één afbeelding, en produceert samenhangende, aanpasbare scènes door compositionele generatie geleid door precieze cameraterugwinning en ruimtelijke optimalisatie.
English
Recent advances in 3D scene generation produce visually appealing output, but current representations hinder artists' workflows that require modifiable 3D textured mesh scenes for visual effects and game development. Despite significant advances, current textured mesh scene reconstruction methods are far from artist ready, suffering from incorrect object decomposition, inaccurate spatial relationships, and missing backgrounds. We present 3D-RE-GEN, a compositional framework that reconstructs a single image into textured 3D objects and a background. We show that combining state of the art models from specific domains achieves state of the art scene reconstruction performance, addressing artists' requirements.
Our reconstruction pipeline integrates models for asset detection, reconstruction, and placement, pushing certain models beyond their originally intended domains. Obtaining occluded objects is treated as an image editing task with generative models to infer and reconstruct with scene level reasoning under consistent lighting and geometry. Unlike current methods, 3D-RE-GEN generates a comprehensive background that spatially constrains objects during optimization and provides a foundation for realistic lighting and simulation tasks in visual effects and games. To obtain physically realistic layouts, we employ a novel 4-DoF differentiable optimization that aligns reconstructed objects with the estimated ground plane. 3D-RE-GEN~achieves state of the art performance in single image 3D scene reconstruction, producing coherent, modifiable scenes through compositional generation guided by precise camera recovery and spatial optimization.