CityDreamer: Compositioneel Generatief Model van Onbegrensde 3D-Steden

CityDreamer: Compositional Generative Model of Unbounded 3D Cities

September 1, 2023

Auteurs: Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu

cs.AI

Samenvatting

In de afgelopen jaren is er uitgebreid onderzoek gedaan naar de generatie van 3D-natuuromgevingen, maar het domein van 3D-stadsgeneratie heeft minder aandacht gekregen. Dit komt door de grotere uitdagingen die 3D-stadsgeneratie met zich meebrengt, voornamelijk omdat mensen gevoeliger zijn voor structurele vervormingen in stedelijke omgevingen. Bovendien is het genereren van 3D-steden complexer dan het genereren van 3D-natuuromgevingen, omdat gebouwen, als objecten van dezelfde klasse, een breder scala aan uiterlijke kenmerken vertonen in vergelijking met de relatief consistente verschijning van objecten zoals bomen in natuuromgevingen. Om deze uitdagingen aan te pakken, stellen we CityDreamer voor, een compositorisch generatief model dat specifiek is ontworpen voor onbegrensde 3D-steden, waarbij de generatie van gebouwen wordt gescheiden van andere achtergrondobjecten, zoals wegen, groengebieden en waterpartijen, in afzonderlijke modules. Daarnaast hebben we twee datasets, OSM en GoogleEarth, samengesteld die een grote hoeveelheid realistische stadsbeelden bevatten om de realiteit van de gegenereerde 3D-steden zowel in hun lay-outs als uiterlijke kenmerken te verbeteren. Door uitgebreide experimenten heeft CityDreamer zijn superioriteit bewezen ten opzichte van state-of-the-art methoden in het genereren van een breed scala aan levensechte 3D-steden.

English

In recent years, extensive research has focused on 3D natural scene generation, but the domain of 3D city generation has not received as much exploration. This is due to the greater challenges posed by 3D city generation, mainly because humans are more sensitive to structural distortions in urban environments. Additionally, generating 3D cities is more complex than 3D natural scenes since buildings, as objects of the same class, exhibit a wider range of appearances compared to the relatively consistent appearance of objects like trees in natural scenes. To address these challenges, we propose CityDreamer, a compositional generative model designed specifically for unbounded 3D cities, which separates the generation of building instances from other background objects, such as roads, green lands, and water areas, into distinct modules. Furthermore, we construct two datasets, OSM and GoogleEarth, containing a vast amount of real-world city imagery to enhance the realism of the generated 3D cities both in their layouts and appearances. Through extensive experiments, CityDreamer has proven its superiority over state-of-the-art methods in generating a wide range of lifelike 3D cities.