CityDreamer: 無制限3D都市の構成的生成モデル

CityDreamer: Compositional Generative Model of Unbounded 3D Cities

September 1, 2023

著者: Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu

cs.AI

要旨

近年、3D自然シーンの生成に関する研究が盛んに行われているが、3D都市生成の分野はそれほど探索されていない。これは、3D都市生成がより大きな課題を抱えているためであり、主に人間が都市環境における構造の歪みに対してより敏感であることが理由である。さらに、3D都市の生成は3D自然シーンよりも複雑であり、同じクラスのオブジェクトである建物は、自然シーンにおける木などの比較的一貫した外観を持つオブジェクトに比べて、より多様な外観を示す。これらの課題に対処するため、我々はCityDreamerを提案する。これは、無制限の3D都市に特化した合成的生成モデルであり、建物インスタンスの生成を、道路、緑地、水域などの他の背景オブジェクトから分離し、別々のモジュールとして設計している。さらに、OSMとGoogleEarthという2つのデータセットを構築し、現実世界の都市画像を大量に含めることで、生成される3D都市のレイアウトと外観の現実感を高めている。広範な実験を通じて、CityDreamerは、多様なリアルな3D都市を生成する点で、最先端の手法を凌駕する優位性を証明している。

English

In recent years, extensive research has focused on 3D natural scene generation, but the domain of 3D city generation has not received as much exploration. This is due to the greater challenges posed by 3D city generation, mainly because humans are more sensitive to structural distortions in urban environments. Additionally, generating 3D cities is more complex than 3D natural scenes since buildings, as objects of the same class, exhibit a wider range of appearances compared to the relatively consistent appearance of objects like trees in natural scenes. To address these challenges, we propose CityDreamer, a compositional generative model designed specifically for unbounded 3D cities, which separates the generation of building instances from other background objects, such as roads, green lands, and water areas, into distinct modules. Furthermore, we construct two datasets, OSM and GoogleEarth, containing a vast amount of real-world city imagery to enhance the realism of the generated 3D cities both in their layouts and appearances. Through extensive experiments, CityDreamer has proven its superiority over state-of-the-art methods in generating a wide range of lifelike 3D cities.