CityDreamer4D: Modelo Generativo Compositivo de Ciudades 4D Ilimitadas

CityDreamer4D: Compositional Generative Model of Unbounded 4D Cities

January 15, 2025

Autores: Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu

cs.AI

Resumen

La generación de escenas en 3D ha captado una creciente atención en los últimos años y ha avanzado significativamente. Generar ciudades en 4D es más desafiante que escenas en 3D debido a la presencia de objetos estructuralmente complejos y visualmente diversos como edificios y vehículos, y a la mayor sensibilidad humana a las distorsiones en entornos urbanos. Para abordar estos problemas, proponemos CityDreamer4D, un modelo generativo compositivo diseñado específicamente para generar ciudades en 4D ilimitadas. Nuestros principales insights son 1) la generación de ciudades en 4D debe separar objetos dinámicos (por ejemplo, vehículos) de escenas estáticas (por ejemplo, edificios y calles), y 2) todos los objetos en la escena en 4D deben estar compuestos por diferentes tipos de campos neuronales para edificios, vehículos y elementos de fondo. Específicamente, proponemos Generador de Escenarios de Tráfico y Generador de Diseño Ilimitado para producir escenarios de tráfico dinámicos y diseños de ciudad estáticos utilizando una representación BEV altamente compacta. Los objetos en las ciudades en 4D se generan combinando campos neuronales orientados a elementos y orientados a instancias para elementos de fondo, edificios y vehículos. Para adaptarse a las características distintivas de los elementos de fondo e instancias, los campos neuronales emplean cuadrículas de hash generativas personalizadas y embebidos posicionales periódicos como parametrizaciones de escena. Además, ofrecemos una amplia gama de conjuntos de datos para la generación de ciudades, incluyendo OSM, Google Earth y CityTopia. El conjunto de datos OSM proporciona una variedad de diseños de ciudades del mundo real, mientras que los conjuntos de datos de Google Earth y CityTopia ofrecen imágenes de ciudades a gran escala y de alta calidad completas con anotaciones de instancias en 3D. Aprovechando su diseño compositivo, CityDreamer4D admite una variedad de aplicaciones secundarias, como edición de instancias, estilización de ciudades y simulación urbana, al tiempo que ofrece un rendimiento de vanguardia en la generación de ciudades en 4D realistas.

English

3D scene generation has garnered growing attention in recent years and has made significant progress. Generating 4D cities is more challenging than 3D scenes due to the presence of structurally complex, visually diverse objects like buildings and vehicles, and heightened human sensitivity to distortions in urban environments. To tackle these issues, we propose CityDreamer4D, a compositional generative model specifically tailored for generating unbounded 4D cities. Our main insights are 1) 4D city generation should separate dynamic objects (e.g., vehicles) from static scenes (e.g., buildings and roads), and 2) all objects in the 4D scene should be composed of different types of neural fields for buildings, vehicles, and background stuff. Specifically, we propose Traffic Scenario Generator and Unbounded Layout Generator to produce dynamic traffic scenarios and static city layouts using a highly compact BEV representation. Objects in 4D cities are generated by combining stuff-oriented and instance-oriented neural fields for background stuff, buildings, and vehicles. To suit the distinct characteristics of background stuff and instances, the neural fields employ customized generative hash grids and periodic positional embeddings as scene parameterizations. Furthermore, we offer a comprehensive suite of datasets for city generation, including OSM, GoogleEarth, and CityTopia. The OSM dataset provides a variety of real-world city layouts, while the Google Earth and CityTopia datasets deliver large-scale, high-quality city imagery complete with 3D instance annotations. Leveraging its compositional design, CityDreamer4D supports a range of downstream applications, such as instance editing, city stylization, and urban simulation, while delivering state-of-the-art performance in generating realistic 4D cities.