SynCity : Génération de mondes 3D sans apprentissage

SynCity: Training-Free Generation of 3D Worlds

March 20, 2025

Auteurs: Paul Engstler, Aleksandar Shtedritski, Iro Laina, Christian Rupprecht, Andrea Vedaldi

cs.AI

Résumé

Nous abordons le défi de générer des mondes en 3D à partir de descriptions textuelles. Nous proposons SynCity, une approche sans entraînement ni optimisation, qui exploite la précision géométrique des modèles génératifs 3D pré-entraînés et la polyvalence artistique des générateurs d'images 2D pour créer des espaces 3D étendus et de haute qualité. Alors que la plupart des modèles génératifs 3D sont centrés sur des objets et ne peuvent pas générer des mondes à grande échelle, nous montrons comment les générateurs 3D et 2D peuvent être combinés pour produire des scènes en expansion continue. Grâce à une approche basée sur des tuiles, nous permettons un contrôle précis de la disposition et de l'apparence des scènes. Le monde est généré tuile par tuile, chaque nouvelle tuile étant générée dans son contexte mondial puis fusionnée avec la scène. SynCity produit des scènes immersives et captivantes, riches en détails et en diversité.

English

We address the challenge of generating 3D worlds from textual descriptions. We propose SynCity, a training- and optimization-free approach, which leverages the geometric precision of pre-trained 3D generative models and the artistic versatility of 2D image generators to create large, high-quality 3D spaces. While most 3D generative models are object-centric and cannot generate large-scale worlds, we show how 3D and 2D generators can be combined to generate ever-expanding scenes. Through a tile-based approach, we allow fine-grained control over the layout and the appearance of scenes. The world is generated tile-by-tile, and each new tile is generated within its world-context and then fused with the scene. SynCity generates compelling and immersive scenes that are rich in detail and diversity.