3D-RE-GEN: 생성형 프레임워크를 활용한 실내 장면의 3차원 재구성
3D-RE-GEN: 3D Reconstruction of Indoor Scenes with a Generative Framework
December 19, 2025
저자: Tobias Sautter, Jan-Niklas Dihlmann, Hendrik P. A. Lensch
cs.AI
초록
최근 3D 장면 생성 기술의 발전은 시각적으로 매력적인 결과물을 생산하지만, 현재의 표현 방식은 시각 효과 및 게임 개발에 필요한 수정 가능한 3D 텍스처 메쉬 장면을 요구하는 아티스트 워크플로우를 저해하고 있습니다. 상당한 발전에도 불구하고, 현재의 텍스처 메쉬 장면 재구성 방법은 부정확한 객체 분해, 불완전한 공간 관계, 배경 누락 등의 문제로 아티스트가 바로 사용하기에는 아직 거리가 있습니다. 본 논문에서는 단일 이미지를 텍스처가 입혀진 3D 객체와 배경으로 재구성하는 구성적 프레임워크인 3D-RE-GEN을 제시합니다. 특정 도메인의 최첨단 모델들을 결합하면 최첨단 장면 재구성 성능을 달성하며 아티스트의 요구사항을 해결할 수 있음을 보여줍니다.
본 재구성 파이프라인은 에셋 감지, 재구성, 배치를 위한 모델들을 통합하며, 특정 모델들을 원래 의도된 도메인을 넘어서도록 확장 적용합니다. 가려진 객체 획득은 생성 모델을 이용한 이미지 편집 작업으로 처리되어, 일관된 조명과 기하학 하에서 장면 수준의 추론을 통해 추정 및 재구성됩니다. 현재 방법론들과 달리, 3D-RE-GEN은 최적화 과정에서 객체를 공간적으로 제약하고 시각 효과 및 게임에서의 사실적인 조명 및 시뮬레이션 작업을 위한 기반을 제공하는 포괄적인 배경을 생성합니다. 물리적으로 현실적인 레이아웃을 얻기 위해, 우리는 재구성된 객체들을 추정된 지평면과 정렬하는 새로운 4-DoF 미분 가능 최적화를 활용합니다. 3D-RE-GEN은 정확한 카메라 복원 및 공간 최적화에 의해 guided되는 구성적 생성을 통해 일관성 있고 수정 가능한 장면을 생산하며, 단일 이미지 3D 장면 재구성 분야에서 최첨단 성능을 달성합니다.
English
Recent advances in 3D scene generation produce visually appealing output, but current representations hinder artists' workflows that require modifiable 3D textured mesh scenes for visual effects and game development. Despite significant advances, current textured mesh scene reconstruction methods are far from artist ready, suffering from incorrect object decomposition, inaccurate spatial relationships, and missing backgrounds. We present 3D-RE-GEN, a compositional framework that reconstructs a single image into textured 3D objects and a background. We show that combining state of the art models from specific domains achieves state of the art scene reconstruction performance, addressing artists' requirements.
Our reconstruction pipeline integrates models for asset detection, reconstruction, and placement, pushing certain models beyond their originally intended domains. Obtaining occluded objects is treated as an image editing task with generative models to infer and reconstruct with scene level reasoning under consistent lighting and geometry. Unlike current methods, 3D-RE-GEN generates a comprehensive background that spatially constrains objects during optimization and provides a foundation for realistic lighting and simulation tasks in visual effects and games. To obtain physically realistic layouts, we employ a novel 4-DoF differentiable optimization that aligns reconstructed objects with the estimated ground plane. 3D-RE-GEN~achieves state of the art performance in single image 3D scene reconstruction, producing coherent, modifiable scenes through compositional generation guided by precise camera recovery and spatial optimization.