CityDreamer: 무제한 3D 도시를 위한 구성적 생성 모델

초록

최근 몇 년 동안 3D 자연 경관 생성에 대한 광범위한 연구가 진행되어 왔지만, 3D 도시 생성 분야는 상대적으로 덜 탐구되었습니다. 이는 3D 도시 생성이 더 큰 도전 과제를 안고 있기 때문인데, 주로 인간이 도시 환경에서의 구조적 왜곡에 더 민감하게 반응하기 때문입니다. 또한, 3D 도시 생성은 3D 자연 경관 생성보다 더 복잡한데, 이는 동일한 클래스의 객체인 건물들이 자연 경관에서의 나무와 같은 객체들에 비해 더 다양한 외관을 보이기 때문입니다. 이러한 도전 과제를 해결하기 위해, 우리는 무한한 3D 도시를 위해 특별히 설계된 구성적 생성 모델인 CityDreamer를 제안합니다. 이 모델은 건물 인스턴스의 생성을 도로, 녹지, 수역과 같은 다른 배경 객체들의 생성과 별개의 모듈로 분리합니다. 더불어, 우리는 OSM과 GoogleEarth라는 두 개의 데이터셋을 구축하여, 생성된 3D 도시의 레이아웃과 외관 모두에서 현실감을 높이기 위해 방대한 양의 실제 도시 이미지를 포함시켰습니다. 광범위한 실험을 통해, CityDreamer는 다양한 생생한 3D 도시를 생성하는 데 있어 최신 기술을 능가하는 우수성을 입증했습니다.

English

In recent years, extensive research has focused on 3D natural scene generation, but the domain of 3D city generation has not received as much exploration. This is due to the greater challenges posed by 3D city generation, mainly because humans are more sensitive to structural distortions in urban environments. Additionally, generating 3D cities is more complex than 3D natural scenes since buildings, as objects of the same class, exhibit a wider range of appearances compared to the relatively consistent appearance of objects like trees in natural scenes. To address these challenges, we propose CityDreamer, a compositional generative model designed specifically for unbounded 3D cities, which separates the generation of building instances from other background objects, such as roads, green lands, and water areas, into distinct modules. Furthermore, we construct two datasets, OSM and GoogleEarth, containing a vast amount of real-world city imagery to enhance the realism of the generated 3D cities both in their layouts and appearances. Through extensive experiments, CityDreamer has proven its superiority over state-of-the-art methods in generating a wide range of lifelike 3D cities.

CityDreamer: 무제한 3D 도시를 위한 구성적 생성 모델

CityDreamer: Compositional Generative Model of Unbounded 3D Cities

초록

Support