WildCity: Een realistische stadsschaal testbed voor rendering, simulatie en ruimtelijke intelligentie

Samenvatting

Mensen kunnen door een onbekende stad navigeren en geleidelijk een coherente mentale ruimtekaart vormen die tientallen vierkante kilometers beslaat. Kan AI ruimtelijke representaties op een vergelijkbare schaal bouwen? Hoewel recente funderingsmodellen vooruitgang hebben geboekt in scènereconstructie en belichaamde intelligentie, blijft het opschalen naar hele steden een open uitdaging, voornamelijk vanwege het gebrek aan data op stadsniveau. Om deze kloof te overbruggen, introduceren we WildCity, een real-world multimodale dataset verzameld door autonome wagenparken die complexe stedelijke omgevingen doorkruisen. Onze dataset bevat 18 trajecten, elk gemiddeld 83,7 kilometer lang, en behoudt de kernuitdagingen van perceptie in het wild, zoals dynamische objecten, lichtvariaties en imperfecte cameraposities. We stellen verder een op de stad afgestemde reconstructie-baseline op en zetten de gereconstrueerde omgevingen om in een closed-loop simulator. Naast de dataset en baseline analyseren we systematisch de belangrijkste uitdagingen op weg naar simulatieklare stedelijke digitale tweelingen: schaalbaarheid, extrapolatie en onzekerheid. Uiteindelijk beoogt WildCity vooruitgang te katalyseren, niet alleen in rendering op stadsschaal, maar breder in het streven naar AI die ruimte kan waarnemen, onthouden en redeneren op een schaal die vergelijkbaar is met menselijke cognitie. Projectpagina: https://han-xiangyu.github.io/Wild-City/

English

Humans can navigate an unfamiliar city and gradually form a coherent spatial mental map spanning tens of square kilometers. Can AI build spatial representations at a comparable scale? Although recent foundation models have advanced scene reconstruction and embodied intelligence, scaling to entire cities remains an open challenge, primarily due to the lack of city-scale data. To bridge the gap, we introduce WildCity, a real-world multimodal dataset collected by autonomous fleets traversing complex urban environments. Our dataset includes 18 trajectories, each averaging 83.7 kilometers in length, and preserves the core challenges of in-the-wild perception, e.g., dynamic objects, lighting variations, and imperfect camera poses. We further establish an urban-tailored reconstruction baseline and convert the reconstructed environments into a closed-loop simulator. Beyond the dataset and baseline, we systematically analyze the key challenges on the path to simulation-ready urban digital twins: scalability, extrapolation, and uncertainty. Ultimately, WildCity aims to catalyze progress not only in city-scale rendering, but more broadly in the pursuit of AI that can perceive, remember, and reason across space at a scale comparable to human cognition. Project page: https://han-xiangyu.github.io/Wild-City/