3D-RE-GEN : Reconstruction 3D de scènes intérieures avec un cadre génératif
3D-RE-GEN: 3D Reconstruction of Indoor Scenes with a Generative Framework
December 19, 2025
papers.authors: Tobias Sautter, Jan-Niklas Dihlmann, Hendrik P. A. Lensch
cs.AI
papers.abstract
Les progrès récents en génération de scènes 3D produisent des résultats visuellement attrayants, mais les représentations actuelles entravent les flux de travail des artistes qui nécessitent des scènes modifiables de maillages 3D texturés pour les effets visuels et le développement de jeux. Malgré des avancées significatives, les méthodes actuelles de reconstruction de scènes par maillages texturés sont loin d'être prêtes pour les artistes, souffrant d'une décomposition incorrecte des objets, de relations spatiales imprécises et d'absences d'arrière-plans. Nous présentons 3D-RE-GEN, un cadre compositionnel qui reconstruit une image unique en objets 3D texturés et un arrière-plan. Nous montrons que la combinaison de modèles de pointe issus de domaines spécifiques permet d'atteindre des performances de pointe en reconstruction de scènes, répondant aux exigences des artistes.
Notre pipeline de reconstruction intègre des modèles pour la détection d'assets, la reconstruction et le placement, poussant certains modèles au-delà de leurs domaines d'origine. L'obtention d'objets occlus est traitée comme une tâche de retouche d'image avec des modèles génératifs pour déduire et reconstruire avec un raisonnement au niveau de la scène sous un éclairage et une géométrie cohérents. Contrairement aux méthodes actuelles, 3D-RE-GEN génère un arrière-plan complet qui contraint spatialement les objets lors de l'optimisation et fournit une base pour des tâches réalistes d'éclairage et de simulation dans les effets visuels et les jeux. Pour obtenir des agencements physiquement réalistes, nous utilisons une nouvelle optimisation différentiable à 4 degrés de liberté qui aligne les objets reconstruits avec le plan de sol estimé. 3D-RE-GEN atteint des performances de pointe en reconstruction de scènes 3D à partir d'une seule image, produisant des scènes cohérentes et modifiables grâce à une génération compositionnelle guidée par une récupération précise de la caméra et une optimisation spatiale.
English
Recent advances in 3D scene generation produce visually appealing output, but current representations hinder artists' workflows that require modifiable 3D textured mesh scenes for visual effects and game development. Despite significant advances, current textured mesh scene reconstruction methods are far from artist ready, suffering from incorrect object decomposition, inaccurate spatial relationships, and missing backgrounds. We present 3D-RE-GEN, a compositional framework that reconstructs a single image into textured 3D objects and a background. We show that combining state of the art models from specific domains achieves state of the art scene reconstruction performance, addressing artists' requirements.
Our reconstruction pipeline integrates models for asset detection, reconstruction, and placement, pushing certain models beyond their originally intended domains. Obtaining occluded objects is treated as an image editing task with generative models to infer and reconstruct with scene level reasoning under consistent lighting and geometry. Unlike current methods, 3D-RE-GEN generates a comprehensive background that spatially constrains objects during optimization and provides a foundation for realistic lighting and simulation tasks in visual effects and games. To obtain physically realistic layouts, we employ a novel 4-DoF differentiable optimization that aligns reconstructed objects with the estimated ground plane. 3D-RE-GEN~achieves state of the art performance in single image 3D scene reconstruction, producing coherent, modifiable scenes through compositional generation guided by precise camera recovery and spatial optimization.