NuiScene: 無制限な屋外シーンの効率的な生成の探求

NuiScene: Exploring Efficient Generation of Unbounded Outdoor Scenes

March 20, 2025

著者: Han-Hung Lee, Qinghong Han, Angel X. Chang

cs.AI

要旨

本論文では、城から高層ビルまで、広大な屋外シーンを生成するタスクを探求する。従来の研究が主に焦点を当ててきた屋内シーン生成とは異なり、屋外シーン生成は、シーンの高さの大幅な変化や、大規模な景観を迅速に生成する手法の必要性といった独自の課題を提示する。これに対処するため、シーンのチャンクを均一なベクトルセットとしてエンコードする効率的なアプローチを提案し、従来の空間構造化された潜在表現よりも優れた圧縮率と性能を実現する。さらに、無制限の生成のための明示的なアウトペインティングモデルを訓練し、従来のリサンプリングベースのインペインティング手法と比較して一貫性を向上させるとともに、余分な拡散ステップを排除することで生成速度を向上させる。このタスクを支援するため、共同訓練用に前処理された高品質な小規模シーンセットであるNuiScene43をキュレーションした。特に、様々なスタイルのシーンで訓練された場合、本モデルは田舎の家と都市の高層ビルといった異なる環境を同一シーン内で融合させることができ、異種シーンを共同訓練に活用する本キュレーションプロセスの可能性を浮き彫りにする。

English

In this paper, we explore the task of generating expansive outdoor scenes, ranging from castles to high-rises. Unlike indoor scene generation, which has been a primary focus of prior work, outdoor scene generation presents unique challenges, including wide variations in scene heights and the need for a method capable of rapidly producing large landscapes. To address this, we propose an efficient approach that encodes scene chunks as uniform vector sets, offering better compression and performance than the spatially structured latents used in prior methods. Furthermore, we train an explicit outpainting model for unbounded generation, which improves coherence compared to prior resampling-based inpainting schemes while also speeding up generation by eliminating extra diffusion steps. To facilitate this task, we curate NuiScene43, a small but high-quality set of scenes, preprocessed for joint training. Notably, when trained on scenes of varying styles, our model can blend different environments, such as rural houses and city skyscrapers, within the same scene, highlighting the potential of our curation process to leverage heterogeneous scenes for joint training.