CityDreamer: Modelo Generativo Composicional de Cidades 3D Ilimitadas

CityDreamer: Compositional Generative Model of Unbounded 3D Cities

September 1, 2023

Autores: Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu

cs.AI

Resumo

Nos últimos anos, pesquisas extensivas têm se concentrado na geração de cenas naturais em 3D, mas o domínio da geração de cidades em 3D não recebeu tanta exploração. Isso se deve aos maiores desafios apresentados pela geração de cidades em 3D, principalmente porque os seres humanos são mais sensíveis a distorções estruturais em ambientes urbanos. Além disso, gerar cidades em 3D é mais complexo do que cenas naturais em 3D, já que edifícios, como objetos da mesma classe, exibem uma gama mais ampla de aparências em comparação com a aparência relativamente consistente de objetos como árvores em cenas naturais. Para enfrentar esses desafios, propomos o CityDreamer, um modelo generativo composicional projetado especificamente para cidades em 3D ilimitadas, que separa a geração de instâncias de edifícios de outros objetos de fundo, como estradas, áreas verdes e corpos d'água, em módulos distintos. Além disso, construímos dois conjuntos de dados, OSM e GoogleEarth, contendo uma vasta quantidade de imagens de cidades do mundo real para aumentar o realismo das cidades em 3D geradas, tanto em seus layouts quanto em suas aparências. Por meio de experimentos extensivos, o CityDreamer demonstrou sua superioridade em relação aos métodos mais avançados na geração de uma ampla variedade de cidades em 3D realistas.

English

In recent years, extensive research has focused on 3D natural scene generation, but the domain of 3D city generation has not received as much exploration. This is due to the greater challenges posed by 3D city generation, mainly because humans are more sensitive to structural distortions in urban environments. Additionally, generating 3D cities is more complex than 3D natural scenes since buildings, as objects of the same class, exhibit a wider range of appearances compared to the relatively consistent appearance of objects like trees in natural scenes. To address these challenges, we propose CityDreamer, a compositional generative model designed specifically for unbounded 3D cities, which separates the generation of building instances from other background objects, such as roads, green lands, and water areas, into distinct modules. Furthermore, we construct two datasets, OSM and GoogleEarth, containing a vast amount of real-world city imagery to enhance the realism of the generated 3D cities both in their layouts and appearances. Through extensive experiments, CityDreamer has proven its superiority over state-of-the-art methods in generating a wide range of lifelike 3D cities.