SynCity: Generación de mundos 3D sin necesidad de entrenamiento

SynCity: Training-Free Generation of 3D Worlds

March 20, 2025

Autores: Paul Engstler, Aleksandar Shtedritski, Iro Laina, Christian Rupprecht, Andrea Vedaldi

cs.AI

Resumen

Abordamos el desafío de generar mundos 3D a partir de descripciones textuales. Proponemos SynCity, un enfoque que no requiere entrenamiento ni optimización, el cual aprovecha la precisión geométrica de modelos generativos 3D preentrenados y la versatilidad artística de generadores de imágenes 2D para crear espacios 3D extensos y de alta calidad. Mientras que la mayoría de los modelos generativos 3D están centrados en objetos y no pueden generar mundos a gran escala, demostramos cómo los generadores 3D y 2D pueden combinarse para crear escenas en constante expansión. Mediante un enfoque basado en teselas, permitimos un control detallado sobre la disposición y la apariencia de las escenas. El mundo se genera tesela por tesela, y cada nueva tesela se genera dentro de su contexto mundial y luego se fusiona con la escena. SynCity genera escenas cautivadoras e inmersivas, ricas en detalle y diversidad.

English

We address the challenge of generating 3D worlds from textual descriptions. We propose SynCity, a training- and optimization-free approach, which leverages the geometric precision of pre-trained 3D generative models and the artistic versatility of 2D image generators to create large, high-quality 3D spaces. While most 3D generative models are object-centric and cannot generate large-scale worlds, we show how 3D and 2D generators can be combined to generate ever-expanding scenes. Through a tile-based approach, we allow fine-grained control over the layout and the appearance of scenes. The world is generated tile-by-tile, and each new tile is generated within its world-context and then fused with the scene. SynCity generates compelling and immersive scenes that are rich in detail and diversity.