3D-RE-GEN: 3D-реконструкция внутренних помещений с использованием генеративного подхода
3D-RE-GEN: 3D Reconstruction of Indoor Scenes with a Generative Framework
December 19, 2025
Авторы: Tobias Sautter, Jan-Niklas Dihlmann, Hendrik P. A. Lensch
cs.AI
Аннотация
Последние достижения в области генерации 3D-сцен позволяют получать визуально привлекательные результаты, однако современные представления затрудняют рабочие процессы художников, требующие редактируемых 3D-сцен с текстурированными полигональными сетками для разработки визуальных эффектов и игр. Несмотря на значительный прогресс, современные методы реконструкции текстурных сеток сцен еще далеки от готовности к использованию художниками, страдая от некорректного разделения объектов, неточных пространственных взаимосвязей и отсутствующих фонов. Мы представляем 3D-RE-GEN — композиционный фреймворк, реконструирующий одиночное изображение в текстурные 3D-объекты и фон. Мы демонстрируем, что комбинирование передовых моделей из специфических доменов позволяет достичь наивысшей производительности реконструкции сцен, отвечая требованиям художников.
Наш конвейер реконструкции интегрирует модели для детекции ассетов, реконструкции и размещения, расширяя возможности некоторых моделей за пределы их исходных областей применения. Получение закрытых объектами частей трактуется как задача редактирования изображений с использованием генеративных моделей для предсказания и реконструкции на основе сценарного анализа в условиях согласованного освещения и геометрии. В отличие от современных методов, 3D-RE-GEN генерирует комплексный фон, который пространственно ограничивает объекты в процессе оптимизации и обеспечивает основу для реалистичного освещения и задач симуляции в визуальных эффектах и играх. Для достижения физически правдоподобных компоновок мы применяем новую 4-DoF дифференцируемую оптимизацию, выравнивающую реконструированные объекты относительно расчетной плоскости основания. 3D-RE-GEN демонстрирует наивысшую производительность в реконструкции 3D-сцен из одиночного изображения, создавая согласованные, редактируемые сцены посредством композиционной генерации, направляемой точным восстановлением камеры и пространственной оптимизацией.
English
Recent advances in 3D scene generation produce visually appealing output, but current representations hinder artists' workflows that require modifiable 3D textured mesh scenes for visual effects and game development. Despite significant advances, current textured mesh scene reconstruction methods are far from artist ready, suffering from incorrect object decomposition, inaccurate spatial relationships, and missing backgrounds. We present 3D-RE-GEN, a compositional framework that reconstructs a single image into textured 3D objects and a background. We show that combining state of the art models from specific domains achieves state of the art scene reconstruction performance, addressing artists' requirements.
Our reconstruction pipeline integrates models for asset detection, reconstruction, and placement, pushing certain models beyond their originally intended domains. Obtaining occluded objects is treated as an image editing task with generative models to infer and reconstruct with scene level reasoning under consistent lighting and geometry. Unlike current methods, 3D-RE-GEN generates a comprehensive background that spatially constrains objects during optimization and provides a foundation for realistic lighting and simulation tasks in visual effects and games. To obtain physically realistic layouts, we employ a novel 4-DoF differentiable optimization that aligns reconstructed objects with the estimated ground plane. 3D-RE-GEN~achieves state of the art performance in single image 3D scene reconstruction, producing coherent, modifiable scenes through compositional generation guided by precise camera recovery and spatial optimization.