SynCity: Генерация 3D-миров без необходимости обучения

SynCity: Training-Free Generation of 3D Worlds

March 20, 2025

Авторы: Paul Engstler, Aleksandar Shtedritski, Iro Laina, Christian Rupprecht, Andrea Vedaldi

cs.AI

Аннотация

Мы решаем задачу генерации 3D-миров из текстовых описаний. Предлагаем SynCity — подход, не требующий обучения и оптимизации, который использует геометрическую точность предобученных 3D-генеративных моделей и художественную универсальность 2D-генераторов изображений для создания масштабных и качественных 3D-пространств. В то время как большинство 3D-генеративных моделей ориентированы на объекты и не способны создавать крупномасштабные миры, мы показываем, как можно комбинировать 3D- и 2D-генераторы для создания постоянно расширяющихся сцен. С помощью плиточного подхода мы обеспечиваем детальный контроль над компоновкой и внешним видом сцен. Мир генерируется по частям, каждая новая часть создается с учетом контекста мира и затем интегрируется в сцену. SynCity создает впечатляющие и захватывающие сцены, богатые деталями и разнообразием.

English

We address the challenge of generating 3D worlds from textual descriptions. We propose SynCity, a training- and optimization-free approach, which leverages the geometric precision of pre-trained 3D generative models and the artistic versatility of 2D image generators to create large, high-quality 3D spaces. While most 3D generative models are object-centric and cannot generate large-scale worlds, we show how 3D and 2D generators can be combined to generate ever-expanding scenes. Through a tile-based approach, we allow fine-grained control over the layout and the appearance of scenes. The world is generated tile-by-tile, and each new tile is generated within its world-context and then fused with the scene. SynCity generates compelling and immersive scenes that are rich in detail and diversity.