SynCity: Training-vrije generatie van 3D-werelden

SynCity: Training-Free Generation of 3D Worlds

March 20, 2025

Auteurs: Paul Engstler, Aleksandar Shtedritski, Iro Laina, Christian Rupprecht, Andrea Vedaldi

cs.AI

Samenvatting

We pakken de uitdaging aan om 3D-werelden te genereren op basis van tekstuele beschrijvingen. We introduceren SynCity, een benadering zonder training of optimalisatie, die gebruikmaakt van de geometrische precisie van vooraf getrainde 3D-generatieve modellen en de artistieke veelzijdigheid van 2D-beeldgeneratoren om grote, hoogwaardige 3D-ruimtes te creëren. Terwijl de meeste 3D-generatieve modellen objectgericht zijn en geen grootschalige werelden kunnen genereren, laten we zien hoe 3D- en 2D-generatoren gecombineerd kunnen worden om voortdurend uitbreidende scènes te genereren. Via een op tegels gebaseerde aanpak bieden we fijnmazige controle over de lay-out en het uiterlijk van scènes. De wereld wordt tegel voor tegel gegenereerd, waarbij elke nieuwe tegel binnen zijn wereldcontext wordt gegenereerd en vervolgens met de scène wordt samengevoegd. SynCity genereert boeiende en meeslepende scènes die rijk zijn aan detail en diversiteit.

English

We address the challenge of generating 3D worlds from textual descriptions. We propose SynCity, a training- and optimization-free approach, which leverages the geometric precision of pre-trained 3D generative models and the artistic versatility of 2D image generators to create large, high-quality 3D spaces. While most 3D generative models are object-centric and cannot generate large-scale worlds, we show how 3D and 2D generators can be combined to generate ever-expanding scenes. Through a tile-based approach, we allow fine-grained control over the layout and the appearance of scenes. The world is generated tile-by-tile, and each new tile is generated within its world-context and then fused with the scene. SynCity generates compelling and immersive scenes that are rich in detail and diversity.