CityDreamer: Kompositionelles generatives Modell für unbegrenzte 3D-Städte

CityDreamer: Compositional Generative Model of Unbounded 3D Cities

September 1, 2023

Autoren: Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu

cs.AI

Zusammenfassung

In den letzten Jahren hat sich die umfangreiche Forschung auf die Generierung von 3D-Naturlandschaften konzentriert, während das Gebiet der 3D-Stadtgenerierung weniger erforscht wurde. Dies liegt an den größeren Herausforderungen, die die 3D-Stadtgenerierung mit sich bringt, vor allem weil Menschen empfindlicher auf strukturelle Verzerrungen in urbanen Umgebungen reagieren. Darüber hinaus ist die Generierung von 3D-Städten komplexer als die von 3D-Naturlandschaften, da Gebäude als Objekte derselben Klasse eine größere Vielfalt an Erscheinungsformen aufweisen im Vergleich zu den relativ einheitlichen Erscheinungsformen von Objekten wie Bäumen in Naturlandschaften. Um diese Herausforderungen zu bewältigen, schlagen wir CityDreamer vor, ein kompositionelles generatives Modell, das speziell für unbegrenzte 3D-Städte entwickelt wurde und die Generierung von Gebäudeinstanzen von anderen Hintergrundobjekten wie Straßen, Grünflächen und Wasserflächen in separate Module aufteilt. Darüber hinaus erstellen wir zwei Datensätze, OSM und GoogleEarth, die eine Vielzahl von realen Stadtbildern enthalten, um den Realismus der generierten 3D-Städte sowohl in ihren Layouts als auch in ihren Erscheinungsformen zu verbessern. Durch umfangreiche Experimente hat sich CityDreamer als überlegen gegenüber state-of-the-art Methoden bei der Generierung einer breiten Palette lebensechter 3D-Städte erwiesen.

English

In recent years, extensive research has focused on 3D natural scene generation, but the domain of 3D city generation has not received as much exploration. This is due to the greater challenges posed by 3D city generation, mainly because humans are more sensitive to structural distortions in urban environments. Additionally, generating 3D cities is more complex than 3D natural scenes since buildings, as objects of the same class, exhibit a wider range of appearances compared to the relatively consistent appearance of objects like trees in natural scenes. To address these challenges, we propose CityDreamer, a compositional generative model designed specifically for unbounded 3D cities, which separates the generation of building instances from other background objects, such as roads, green lands, and water areas, into distinct modules. Furthermore, we construct two datasets, OSM and GoogleEarth, containing a vast amount of real-world city imagery to enhance the realism of the generated 3D cities both in their layouts and appearances. Through extensive experiments, CityDreamer has proven its superiority over state-of-the-art methods in generating a wide range of lifelike 3D cities.