SceneFrom3D: 뷰 스케줄링과 객체 수준 제어를 통한 기하학 조건부 실외 3D 장면 생성

초록

기하 조건부 3D 장면 생성은 사용자가 제공한 기하 구조를 기반으로 3D 환경을 생성할 수 있게 하여, 장면 구조와 객체 배치에 대한 직접적인 제어를 제공한다. 이러한 3D 장면을 생성하기 위해 현재 방법들은 일반적으로 세 단계 설계를 채택하는데, 먼저 뷰 일정을 정의하고, 정의된 뷰를 따라 다중 시점 관찰 데이터를 합성한 후, 생성된 이미지로부터 3D 표현을 재구성한다. 그러나 야외 장면의 경우, 크고 구조화되지 않았으며 경계가 없는 기하 구조로 인해 충분한 영역을 포함하면서 안정적인 생성을 지원하는 뷰를 얻기 어려워, 뷰 일정 정의가 주요 병목 현상이 된다. 이 병목 현상을 해결하기 위해, 우리는 SceneFrom3D를 제시한다. 이 프레임워크는 야외 입력 기하 구조로부터 자동으로 뷰를 스케줄링한다. SceneFrom3D는 노드가 앵커 뷰를 나타내고 에지가 보간 궤적을 나타내는 방향성 생성 그래프를 구축하여, 어떤 뷰를 합성할지, 어떤 뷰 쌍을 보간할지, 그리고 어떤 순서로 생성을 진행할지를 정의한다. 자동 뷰 스케줄링 외에도, SceneFrom3D는 객체 수준 조건화를 통해 제어 가능성을 더욱 향상시킨다. 각 객체에 외형 가이드를 위한 식별 이미지와 입력 기하 구조에 대한 영역별 제어를 위한 기하 충실도 파라미터를 할당한다. 실험 결과, SceneFrom3D는 최첨단 기하 조건부 야외 3D 장면 생성을 달성하며, 제어 가능한 객체 외형과 기하 충실도를 갖춘 고품질 장면을 생성함을 보여준다.

English

Geometry-conditioned 3D scene generation enables the creation of 3D environments from user-provided geometry, offering direct control over scene structure and object layout. To generate such 3D scenes, current methods commonly adopt a three-stage design that first defines a view schedule, then synthesizes multi-view observations along the scheduled views, and finally reconstructs a 3D representation from the generated images. However, defining the view schedule becomes a major bottleneck for outdoor scenes, where large, unstructured, and unbounded geometry makes it difficult to obtain views that provide sufficient coverage while supporting stable generation. To address this bottleneck, we present SceneFrom3D, a framework that automatically schedules views from outdoor input geometries. SceneFrom3D constructs a directed generation graph whose nodes represent anchor views and whose edges represent interpolation trajectories, defining which views to synthesize, which view pairs to interpolate, and in which order generation should proceed. Beyond automatic view scheduling, SceneFrom3D further improves controllability through object-level conditioning, assigning each object an identity image for appearance guidance and a geometry-adherence parameter for region-wise control over the input geometry. Experiments demonstrate that SceneFrom3D achieves state-of-the-art geometry-conditioned outdoor 3D scene generation, producing high-quality scenes with controllable object appearance and geometry adherence.