3D-RE-GEN: 3D-Rekonstruktion von Innenräumen mit einem generativen Framework
3D-RE-GEN: 3D Reconstruction of Indoor Scenes with a Generative Framework
December 19, 2025
papers.authors: Tobias Sautter, Jan-Niklas Dihlmann, Hendrik P. A. Lensch
cs.AI
papers.abstract
Aktuelle Fortschritte in der 3D-Szenengenerierung erzeugen visuell ansprechende Ergebnisse, doch bestehende Repräsentationen behindern die Arbeitsabläufe von Künstlern, die modifizierbare 3D-Texturmesh-Szenen für visuelle Effekte und Spieleentwicklung benötigen. Trotz bedeutender Verbesserungen sind aktuelle Methoden zur Rekonstruktion texturierter Mesh-Szenen noch nicht einsatzbereit für Künstler, da sie unter falscher Objektzerlegung, ungenauen räumlichen Beziehungen und fehlenden Hintergründen leiden. Wir stellen 3D-RE-GEN vor, ein kompositionelles Framework, das ein einzelnes Bild in texturierte 3D-Objekte und einen Hintergrund rekonstruiert. Wir zeigen, dass die Kombination modernster Modelle aus spezifischen Domänen state-of-the-art Leistung in der Szenenrekonstruktion erreicht und dabei die Anforderungen von Künstlern adressiert.
Unsere Rekonstruktionspipeline integriert Modelle für Asset-Erkennung, Rekonstruktion und Platzierung, wobei bestimmte Modelle über ihre ursprünglich intendierten Domänen hinaus eingesetzt werden. Die Erfassung verdeckter Objekte wird als Bildbearbeitungsaufgabe mit generativen Modellen behandelt, um unter Berücksichtigung der Szenenebene bei konsistenter Beleuchtung und Geometrie Rückschlüsse zu ziehen und zu rekonstruieren. Im Gegensatz zu aktuellen Methoden generiert 3D-RE-GEN einen umfassenden Hintergrund, der Objekte während der Optimierung räumlich einschränkt und eine Grundlage für realistische Beleuchtungs- und Simulationsaufgaben in visuellen Effekten und Spielen schafft. Um physikalisch plausible Anordnungen zu erhalten, setzen wir eine neuartige 4-DoF-differenzierbare Optimierung ein, die rekonstruierte Objekte mit der geschätzten Bodenebene ausrichtet. 3D-RE-GEN erzielt state-of-the-art Leistung in der 3D-Szenenrekonstruktion aus Einzelbildern und erzeugt durch kompositionelle Generierung, geleitet von präziser Kameraermittlung und räumlicher Optimierung, kohärente, modifizierbare Szenen.
English
Recent advances in 3D scene generation produce visually appealing output, but current representations hinder artists' workflows that require modifiable 3D textured mesh scenes for visual effects and game development. Despite significant advances, current textured mesh scene reconstruction methods are far from artist ready, suffering from incorrect object decomposition, inaccurate spatial relationships, and missing backgrounds. We present 3D-RE-GEN, a compositional framework that reconstructs a single image into textured 3D objects and a background. We show that combining state of the art models from specific domains achieves state of the art scene reconstruction performance, addressing artists' requirements.
Our reconstruction pipeline integrates models for asset detection, reconstruction, and placement, pushing certain models beyond their originally intended domains. Obtaining occluded objects is treated as an image editing task with generative models to infer and reconstruct with scene level reasoning under consistent lighting and geometry. Unlike current methods, 3D-RE-GEN generates a comprehensive background that spatially constrains objects during optimization and provides a foundation for realistic lighting and simulation tasks in visual effects and games. To obtain physically realistic layouts, we employ a novel 4-DoF differentiable optimization that aligns reconstructed objects with the estimated ground plane. 3D-RE-GEN~achieves state of the art performance in single image 3D scene reconstruction, producing coherent, modifiable scenes through compositional generation guided by precise camera recovery and spatial optimization.