CityDreamer: Modelo Generativo Composicional de Ciudades 3D Ilimitadas

CityDreamer: Compositional Generative Model of Unbounded 3D Cities

September 1, 2023

Autores: Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu

cs.AI

Resumen

En los últimos años, se ha realizado una extensa investigación sobre la generación de escenas naturales en 3D, pero el dominio de la generación de ciudades en 3D no ha recibido tanta atención. Esto se debe a los mayores desafíos que plantea la generación de ciudades en 3D, principalmente porque los seres humanos son más sensibles a las distorsiones estructurales en entornos urbanos. Además, generar ciudades en 3D es más complejo que generar escenas naturales en 3D, ya que los edificios, como objetos de la misma clase, exhiben una gama más amplia de apariencias en comparación con la apariencia relativamente consistente de objetos como los árboles en escenas naturales. Para abordar estos desafíos, proponemos CityDreamer, un modelo generativo composicional diseñado específicamente para ciudades en 3D ilimitadas, que separa la generación de instancias de edificios de otros objetos de fondo, como carreteras, áreas verdes y zonas de agua, en módulos distintos. Además, construimos dos conjuntos de datos, OSM y GoogleEarth, que contienen una gran cantidad de imágenes de ciudades del mundo real para mejorar el realismo de las ciudades en 3D generadas, tanto en sus diseños como en sus apariencias. A través de extensos experimentos, CityDreamer ha demostrado su superioridad sobre los métodos más avanzados en la generación de una amplia gama de ciudades en 3D realistas.

English

In recent years, extensive research has focused on 3D natural scene generation, but the domain of 3D city generation has not received as much exploration. This is due to the greater challenges posed by 3D city generation, mainly because humans are more sensitive to structural distortions in urban environments. Additionally, generating 3D cities is more complex than 3D natural scenes since buildings, as objects of the same class, exhibit a wider range of appearances compared to the relatively consistent appearance of objects like trees in natural scenes. To address these challenges, we propose CityDreamer, a compositional generative model designed specifically for unbounded 3D cities, which separates the generation of building instances from other background objects, such as roads, green lands, and water areas, into distinct modules. Furthermore, we construct two datasets, OSM and GoogleEarth, containing a vast amount of real-world city imagery to enhance the realism of the generated 3D cities both in their layouts and appearances. Through extensive experiments, CityDreamer has proven its superiority over state-of-the-art methods in generating a wide range of lifelike 3D cities.