SynCity: Generazione di Mondi 3D Senza Addestramento

Abstract

Affrontiamo la sfida di generare mondi 3D a partire da descrizioni testuali. Proponiamo SynCity, un approccio che non richiede addestramento né ottimizzazione, sfruttando la precisione geometrica di modelli generativi 3D pre-addestrati e la versatilità artistica di generatori di immagini 2D per creare spazi 3D estesi e di alta qualità. Mentre la maggior parte dei modelli generativi 3D è incentrata su oggetti e non è in grado di generare mondi su larga scala, dimostriamo come generatori 3D e 2D possano essere combinati per creare scene in continua espansione. Attraverso un approccio basato su tasselli, permettiamo un controllo fine sulla disposizione e sull'aspetto delle scene. Il mondo viene generato tassello per tassello, e ogni nuovo tassello è generato nel contesto del mondo esistente per poi essere fuso con la scena. SynCity genera scene coinvolgenti e immersive, ricche di dettagli e diversità.

English

We address the challenge of generating 3D worlds from textual descriptions. We propose SynCity, a training- and optimization-free approach, which leverages the geometric precision of pre-trained 3D generative models and the artistic versatility of 2D image generators to create large, high-quality 3D spaces. While most 3D generative models are object-centric and cannot generate large-scale worlds, we show how 3D and 2D generators can be combined to generate ever-expanding scenes. Through a tile-based approach, we allow fine-grained control over the layout and the appearance of scenes. The world is generated tile-by-tile, and each new tile is generated within its world-context and then fused with the scene. SynCity generates compelling and immersive scenes that are rich in detail and diversity.

SynCity: Generazione di Mondi 3D Senza Addestramento

SynCity: Training-Free Generation of 3D Worlds

Abstract

Support