SynCity 3000: Bootstrapping der szenenweiten 3D-Diffusion

Zusammenfassung

Wir präsentieren SynCity 3000, ein Framework zur Erzeugung von 3D-Szenen, die global kohärent sind und gleichzeitig eine feinkörnige Layoutkontrolle ermöglichen. Aufbauend auf der Fähigkeit aktueller Bild-zu-3D-Generatoren, komplexe 3D-Assets aus einem einzelnen Bild zu generieren, erweitern wir diese Fähigkeit auf den Maßstab ganzer Szenen, indem wir den Generator so anpassen, dass er als Faltungsoperator anwendbar ist. Dies erreichen wir durch Feinabstimmung des Modells auf szenenartige Daten, die von einer neuen synthetischen Daten-Engine erzeugt werden, welche wir vorschlagen, um die Knappheit von 3D-Szenendaten für das Training zu adressieren. Der faltungsbasierte Generator wird dann auf ein dimetrisches Bild der gesamten Szene angewendet, das aus der Benutzeranfrage erzeugt wird, und resultiert in 3D-Szenen beliebiger Größe und Komplexität. Über verschiedene Anfragen und Layouts hinweg produziert SynCity 3000 große, kohärente und detaillierte Szenen und behebt somit die Schwächen früherer Ansätze zur 3D-Szenengenerierung.

English

We present SynCity 3000, a framework for generating 3D scenes that are globally coherent while enabling fine-grained layout control. Building on the ability of current image-to-3D generators to produce complex 3D assets from a single image, we extend this capability to the scale of entire scenes by adapting the generator to be applicable as a convolutional operator. We achieve this by fine-tuning the model on scene-like data generated by a new synthetic data engine, which we propose to address the scarcity of 3D scene data for training. The convolutional generator is then applied to a dimetric image of the entire scene, generated from the user prompt, resulting in 3D scenes of arbitrary size and complexity. Across diverse prompts and layouts, SynCity 3000 produces large, coherent, and detailed scenes, addressing the shortcomings of prior approaches to 3D scene generation.