NuiScene: 무제한 야외 장면의 효율적 생성 탐구

NuiScene: Exploring Efficient Generation of Unbounded Outdoor Scenes

March 20, 2025

저자: Han-Hung Lee, Qinghong Han, Angel X. Chang

cs.AI

초록

본 논문에서는 성에서 고층 빌딩에 이르기까지 광활한 야외 장면을 생성하는 작업을 탐구한다. 기존 연구가 주로 실내 장면 생성에 초점을 맞추었던 것과 달리, 야외 장면 생성은 장면 높이의 광범위한 변화와 대규모 풍경을 신속하게 생성할 수 있는 방법의 필요성 등 독특한 도전 과제를 제시한다. 이를 해결하기 위해, 우리는 장면 청크를 균일한 벡터 집합으로 인코딩하는 효율적인 접근 방식을 제안한다. 이는 기존 방법에서 사용된 공간적으로 구조화된 잠재 변수보다 더 나은 압축과 성능을 제공한다. 더불어, 우리는 무한한 생성을 위한 명시적 아웃페인팅 모델을 학습시켰는데, 이는 기존의 리샘플링 기반 인페인팅 방식에 비해 일관성을 개선하고 추가적인 디퓨전 단계를 제거함으로써 생성 속도를 높인다. 이 작업을 지원하기 위해, 우리는 NuiScene43이라는 소규모이지만 고품질의 장면 데이터셋을 구축하여 공동 학습을 위해 전처리했다. 특히, 다양한 스타일의 장면으로 학습할 경우, 우리의 모델은 시골 주택과 도시 고층 빌딩과 같은 서로 다른 환경을 동일한 장면 내에서 혼합할 수 있으며, 이는 이질적인 장면을 공동 학습에 활용할 수 있는 우리의 데이터셋 구축 과정의 잠재력을 강조한다.

English

In this paper, we explore the task of generating expansive outdoor scenes, ranging from castles to high-rises. Unlike indoor scene generation, which has been a primary focus of prior work, outdoor scene generation presents unique challenges, including wide variations in scene heights and the need for a method capable of rapidly producing large landscapes. To address this, we propose an efficient approach that encodes scene chunks as uniform vector sets, offering better compression and performance than the spatially structured latents used in prior methods. Furthermore, we train an explicit outpainting model for unbounded generation, which improves coherence compared to prior resampling-based inpainting schemes while also speeding up generation by eliminating extra diffusion steps. To facilitate this task, we curate NuiScene43, a small but high-quality set of scenes, preprocessed for joint training. Notably, when trained on scenes of varying styles, our model can blend different environments, such as rural houses and city skyscrapers, within the same scene, highlighting the potential of our curation process to leverage heterogeneous scenes for joint training.