CityDreamer: Композиционная генеративная модель неограниченных 3D-городов

CityDreamer: Compositional Generative Model of Unbounded 3D Cities

September 1, 2023

Авторы: Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu

cs.AI

Аннотация

В последние годы значительные исследования были сосредоточены на генерации трехмерных природных сцен, однако область генерации 3D-городов не получила столь же пристального внимания. Это связано с более сложными задачами, которые ставит генерация 3D-городов, главным образом из-за того, что люди более чувствительны к структурным искажениям в городской среде. Кроме того, генерация 3D-городов сложнее, чем создание природных сцен, поскольку здания, как объекты одного класса, демонстрируют более широкий диапазон внешних видов по сравнению с относительно однородным внешним видом объектов, таких как деревья в природных сценах. Для решения этих задач мы предлагаем CityDreamer — композиционную генеративную модель, специально разработанную для создания неограниченных 3D-городов, которая разделяет генерацию экземпляров зданий и других фоновых объектов, таких как дороги, зеленые зоны и водные пространства, на отдельные модули. Кроме того, мы создали два набора данных, OSM и GoogleEarth, содержащих большое количество изображений реальных городов, чтобы повысить реалистичность генерируемых 3D-городов как в их планировке, так и во внешнем виде. В ходе многочисленных экспериментов CityDreamer доказал свое превосходство над современными методами в генерации широкого спектра реалистичных 3D-городов.

English

In recent years, extensive research has focused on 3D natural scene generation, but the domain of 3D city generation has not received as much exploration. This is due to the greater challenges posed by 3D city generation, mainly because humans are more sensitive to structural distortions in urban environments. Additionally, generating 3D cities is more complex than 3D natural scenes since buildings, as objects of the same class, exhibit a wider range of appearances compared to the relatively consistent appearance of objects like trees in natural scenes. To address these challenges, we propose CityDreamer, a compositional generative model designed specifically for unbounded 3D cities, which separates the generation of building instances from other background objects, such as roads, green lands, and water areas, into distinct modules. Furthermore, we construct two datasets, OSM and GoogleEarth, containing a vast amount of real-world city imagery to enhance the realism of the generated 3D cities both in their layouts and appearances. Through extensive experiments, CityDreamer has proven its superiority over state-of-the-art methods in generating a wide range of lifelike 3D cities.