WildCity: Eine reale Testumgebung im Stadtmaßstab für Rendering, Simulation und räumliche Intelligenz

Zusammenfassung

Der Mensch kann eine unbekannte Stadt navigieren und allmählich eine kohärente räumliche mentale Karte bilden, die Dutzende Quadratkilometer umfasst. Kann KI räumliche Repräsentationen in vergleichbarem Maßstab erstellen? Obwohl aktuelle Grundlagenmodelle Fortschritte in der Szenenrekonstruktion und der verkörperten Intelligenz ermöglicht haben, bleibt die Skalierung auf ganze Städte eine offene Herausforderung, vor allem aufgrund fehlender Daten im Stadtmaßstab. Um diese Lücke zu schließen, stellen wir WildCity vor, einen realen multimodalen Datensatz, der von autonomen Fahrzeugflotten bei der Durchquerung komplexer urbaner Umgebungen erfasst wurde. Unser Datensatz umfasst 18 Trajektorien mit einer durchschnittlichen Länge von 83,7 Kilometern und bewahrt die zentralen Herausforderungen der Wahrnehmung unter realen Bedingungen, wie dynamische Objekte, Lichtveränderungen und unvollkommene Kameraposen. Wir etablieren zudem eine auf urbane Umgebungen zugeschnittene Rekonstruktionsbasislinie und wandeln die rekonstruierten Umgebungen in einen Closed-Loop-Simulator um. Über den Datensatz und die Basislinie hinaus analysieren wir systematisch die zentralen Herausforderungen auf dem Weg zu simulationsbereiten städtischen digitalen Zwillingen: Skalierbarkeit, Extrapolation und Unsicherheit. Letztlich zielt WildCity darauf ab, den Fortschritt nicht nur im stadtskaligen Rendering voranzutreiben, sondern allgemeiner bei der Entwicklung von KI, die im räumlichen Maßstab vergleichbar mit der menschlichen Kognition wahrnehmen, erinnern und schlussfolgern kann. Projektseite: https://han-xiangyu.github.io/Wild-City/

English

Humans can navigate an unfamiliar city and gradually form a coherent spatial mental map spanning tens of square kilometers. Can AI build spatial representations at a comparable scale? Although recent foundation models have advanced scene reconstruction and embodied intelligence, scaling to entire cities remains an open challenge, primarily due to the lack of city-scale data. To bridge the gap, we introduce WildCity, a real-world multimodal dataset collected by autonomous fleets traversing complex urban environments. Our dataset includes 18 trajectories, each averaging 83.7 kilometers in length, and preserves the core challenges of in-the-wild perception, e.g., dynamic objects, lighting variations, and imperfect camera poses. We further establish an urban-tailored reconstruction baseline and convert the reconstructed environments into a closed-loop simulator. Beyond the dataset and baseline, we systematically analyze the key challenges on the path to simulation-ready urban digital twins: scalability, extrapolation, and uncertainty. Ultimately, WildCity aims to catalyze progress not only in city-scale rendering, but more broadly in the pursuit of AI that can perceive, remember, and reason across space at a scale comparable to human cognition. Project page: https://han-xiangyu.github.io/Wild-City/