CityDreamer : Modèle génératif compositionnel pour des villes 3D sans limites

CityDreamer: Compositional Generative Model of Unbounded 3D Cities

September 1, 2023

Auteurs: Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu

cs.AI

Résumé

Ces dernières années, des recherches approfondies se sont concentrées sur la génération de scènes naturelles en 3D, mais le domaine de la génération de villes en 3D n'a pas été autant exploré. Cela s'explique par les défis plus importants posés par la génération de villes en 3D, principalement parce que les humains sont plus sensibles aux distorsions structurelles dans les environnements urbains. De plus, la génération de villes en 3D est plus complexe que celle de scènes naturelles en 3D, car les bâtiments, en tant qu'objets de la même classe, présentent une plus grande variété d'apparences par rapport à l'apparence relativement uniforme d'objets comme les arbres dans les scènes naturelles. Pour relever ces défis, nous proposons CityDreamer, un modèle génératif compositionnel conçu spécifiquement pour les villes en 3D sans limites, qui sépare la génération d'instances de bâtiments des autres objets de fond, tels que les routes, les espaces verts et les zones aquatiques, en modules distincts. Par ailleurs, nous avons construit deux ensembles de données, OSM et GoogleEarth, contenant une vaste quantité d'images de villes réelles pour améliorer le réalisme des villes en 3D générées, tant dans leurs dispositions que dans leurs apparences. À travers des expériences approfondies, CityDreamer a démontré sa supériorité par rapport aux méthodes de pointe dans la génération d'une large gamme de villes en 3D réalistes.

English

In recent years, extensive research has focused on 3D natural scene generation, but the domain of 3D city generation has not received as much exploration. This is due to the greater challenges posed by 3D city generation, mainly because humans are more sensitive to structural distortions in urban environments. Additionally, generating 3D cities is more complex than 3D natural scenes since buildings, as objects of the same class, exhibit a wider range of appearances compared to the relatively consistent appearance of objects like trees in natural scenes. To address these challenges, we propose CityDreamer, a compositional generative model designed specifically for unbounded 3D cities, which separates the generation of building instances from other background objects, such as roads, green lands, and water areas, into distinct modules. Furthermore, we construct two datasets, OSM and GoogleEarth, containing a vast amount of real-world city imagery to enhance the realism of the generated 3D cities both in their layouts and appearances. Through extensive experiments, CityDreamer has proven its superiority over state-of-the-art methods in generating a wide range of lifelike 3D cities.