SynCity: Geração de Mundos 3D sem Treinamento

SynCity: Training-Free Generation of 3D Worlds

March 20, 2025

Autores: Paul Engstler, Aleksandar Shtedritski, Iro Laina, Christian Rupprecht, Andrea Vedaldi

cs.AI

Resumo

Abordamos o desafio de gerar mundos 3D a partir de descrições textuais. Propomos o SynCity, uma abordagem livre de treinamento e otimização, que aproveita a precisão geométrica de modelos generativos 3D pré-treinados e a versatilidade artística de geradores de imagens 2D para criar espaços 3D amplos e de alta qualidade. Enquanto a maioria dos modelos generativos 3D é centrada em objetos e incapaz de gerar mundos em grande escala, mostramos como geradores 3D e 2D podem ser combinados para criar cenas em constante expansão. Por meio de uma abordagem baseada em blocos, permitimos controle refinado sobre o layout e a aparência das cenas. O mundo é gerado bloco por bloco, e cada novo bloco é gerado dentro de seu contexto global e então fundido à cena. O SynCity gera cenas envolventes e imersivas, ricas em detalhes e diversidade.

English

We address the challenge of generating 3D worlds from textual descriptions. We propose SynCity, a training- and optimization-free approach, which leverages the geometric precision of pre-trained 3D generative models and the artistic versatility of 2D image generators to create large, high-quality 3D spaces. While most 3D generative models are object-centric and cannot generate large-scale worlds, we show how 3D and 2D generators can be combined to generate ever-expanding scenes. Through a tile-based approach, we allow fine-grained control over the layout and the appearance of scenes. The world is generated tile-by-tile, and each new tile is generated within its world-context and then fused with the scene. SynCity generates compelling and immersive scenes that are rich in detail and diversity.