SynCity: 3D 세계의 학습 없이 생성하기

SynCity: Training-Free Generation of 3D Worlds

March 20, 2025

저자: Paul Engstler, Aleksandar Shtedritski, Iro Laina, Christian Rupprecht, Andrea Vedaldi

cs.AI

초록

우리는 텍스트 설명으로부터 3D 세계를 생성하는 과제를 다룹니다. 우리는 사전 학습된 3D 생성 모델의 기하학적 정밀도와 2D 이미지 생성기의 예술적 다양성을 활용하여 대규모의 고품질 3D 공간을 생성하는 학습 및 최적화가 필요 없는 접근 방식인 SynCity를 제안합니다. 대부분의 3D 생성 모델은 객체 중심이며 대규모 세계를 생성할 수 없지만, 우리는 3D와 2D 생성기를 결합하여 끊임없이 확장되는 장면을 생성하는 방법을 보여줍니다. 타일 기반 접근 방식을 통해 장면의 레이아웃과 외관에 대한 세밀한 제어를 가능하게 합니다. 세계는 타일별로 생성되며, 각 새로운 타일은 해당 세계의 문맥 내에서 생성된 후 장면과 융합됩니다. SynCity는 세부 사항과 다양성이 풍부한 매력적이고 몰입감 있는 장면을 생성합니다.

English

We address the challenge of generating 3D worlds from textual descriptions. We propose SynCity, a training- and optimization-free approach, which leverages the geometric precision of pre-trained 3D generative models and the artistic versatility of 2D image generators to create large, high-quality 3D spaces. While most 3D generative models are object-centric and cannot generate large-scale worlds, we show how 3D and 2D generators can be combined to generate ever-expanding scenes. Through a tile-based approach, we allow fine-grained control over the layout and the appearance of scenes. The world is generated tile-by-tile, and each new tile is generated within its world-context and then fused with the scene. SynCity generates compelling and immersive scenes that are rich in detail and diversity.