CityDreamer4D : Modèle génératif compositionnel de villes en 4D illimitées

CityDreamer4D: Compositional Generative Model of Unbounded 4D Cities

January 15, 2025

Auteurs: Haozhe Xie, Zhaoxi Chen, Fangzhou Hong, Ziwei Liu

cs.AI

Résumé

La génération de scènes en 3D a suscité un intérêt croissant ces dernières années et a réalisé des progrès significatifs. La génération de villes en 4D est plus complexe que celle des scènes en 3D en raison de la présence d'objets structurellement complexes et visuellement divers tels que les bâtiments et les véhicules, ainsi que de la sensibilité accrue des humains aux distorsions dans les environnements urbains. Pour relever ces défis, nous proposons CityDreamer4D, un modèle génératif compositionnel spécifiquement conçu pour générer des villes en 4D illimitées. Nos principales idées sont les suivantes : 1) la génération de villes en 4D devrait séparer les objets dynamiques (par exemple, les véhicules) des scènes statiques (par exemple, les bâtiments et les routes), et 2) tous les objets de la scène en 4D devraient être composés de différents types de champs neuronaux pour les bâtiments, les véhicules et les éléments de fond. Plus précisément, nous proposons un Générateur de Scénarios de Trafic et un Générateur de Disposition Illimitée pour produire des scénarios de trafic dynamiques et des agencements de ville statiques en utilisant une représentation BEV hautement compacte. Les objets dans les villes en 4D sont générés en combinant des champs neuronaux orientés vers les éléments de fond et orientés vers les instances pour les éléments de fond, les bâtiments et les véhicules. Pour s'adapter aux caractéristiques distinctes des éléments de fond et des instances, les champs neuronaux utilisent des grilles de hachage génératives personnalisées et des plongements positionnels périodiques en tant que paramétrisations de scène. De plus, nous proposons une gamme complète d'ensembles de données pour la génération de villes, comprenant OSM, GoogleEarth et CityTopia. L'ensemble de données OSM fournit une variété de tracés de ville du monde réel, tandis que les ensembles de données Google Earth et CityTopia offrent des images de ville à grande échelle et de haute qualité avec des annotations d'instances en 3D. Grâce à sa conception compositionnelle, CityDreamer4D prend en charge une gamme d'applications en aval, telles que l'édition d'instances, la stylisation de ville et la simulation urbaine, tout en offrant des performances de pointe dans la génération de villes en 4D réalistes.

English

3D scene generation has garnered growing attention in recent years and has made significant progress. Generating 4D cities is more challenging than 3D scenes due to the presence of structurally complex, visually diverse objects like buildings and vehicles, and heightened human sensitivity to distortions in urban environments. To tackle these issues, we propose CityDreamer4D, a compositional generative model specifically tailored for generating unbounded 4D cities. Our main insights are 1) 4D city generation should separate dynamic objects (e.g., vehicles) from static scenes (e.g., buildings and roads), and 2) all objects in the 4D scene should be composed of different types of neural fields for buildings, vehicles, and background stuff. Specifically, we propose Traffic Scenario Generator and Unbounded Layout Generator to produce dynamic traffic scenarios and static city layouts using a highly compact BEV representation. Objects in 4D cities are generated by combining stuff-oriented and instance-oriented neural fields for background stuff, buildings, and vehicles. To suit the distinct characteristics of background stuff and instances, the neural fields employ customized generative hash grids and periodic positional embeddings as scene parameterizations. Furthermore, we offer a comprehensive suite of datasets for city generation, including OSM, GoogleEarth, and CityTopia. The OSM dataset provides a variety of real-world city layouts, while the Google Earth and CityTopia datasets deliver large-scale, high-quality city imagery complete with 3D instance annotations. Leveraging its compositional design, CityDreamer4D supports a range of downstream applications, such as instance editing, city stylization, and urban simulation, while delivering state-of-the-art performance in generating realistic 4D cities.