WildCity : un banc d'essai à l'échelle d'une ville réelle pour le rendu, la simulation et l'intelligence spatiale

Résumé

Les humains peuvent naviguer dans une ville inconnue et se forger progressivement une carte mentale spatiale cohérente couvrant des dizaines de kilomètres carrés. L’IA peut-elle construire des représentations spatiales à une échelle comparable ? Si les modèles fondamentaux récents ont fait progresser la reconstruction de scènes et l’intelligence incarnée, le passage à l’échelle de villes entières reste un défi ouvert, principalement en raison du manque de données à cette échelle. Pour combler cette lacune, nous présentons WildCity, un jeu de données multimodal réel collecté par des flottes autonomes parcourant des environnements urbains complexes. Notre jeu de données comprend 18 trajectoires, d’une longueur moyenne de 83,7 kilomètres chacune, et préserve les défis essentiels de la perception en milieu naturel, tels que les objets dynamiques, les variations d’éclairage et les poses imparfaites des caméras. Nous établissons en outre une base de référence de reconstruction adaptée au milieu urbain et convertissons les environnements reconstruits en un simulateur en boucle fermée. Au-delà du jeu de données et de la base de référence, nous analysons systématiquement les défis clés sur la voie de jumeaux numériques urbains prêts pour la simulation : passage à l’échelle, extrapolation et incertitude. En fin de compte, WildCity vise à catalyser les progrès non seulement dans le rendu à l’échelle urbaine, mais plus largement dans la quête d’une IA capable de percevoir, mémoriser et raisonner dans l’espace à une échelle comparable à la cognition humaine. Page du projet : https://han-xiangyu.github.io/Wild-City/

English

Humans can navigate an unfamiliar city and gradually form a coherent spatial mental map spanning tens of square kilometers. Can AI build spatial representations at a comparable scale? Although recent foundation models have advanced scene reconstruction and embodied intelligence, scaling to entire cities remains an open challenge, primarily due to the lack of city-scale data. To bridge the gap, we introduce WildCity, a real-world multimodal dataset collected by autonomous fleets traversing complex urban environments. Our dataset includes 18 trajectories, each averaging 83.7 kilometers in length, and preserves the core challenges of in-the-wild perception, e.g., dynamic objects, lighting variations, and imperfect camera poses. We further establish an urban-tailored reconstruction baseline and convert the reconstructed environments into a closed-loop simulator. Beyond the dataset and baseline, we systematically analyze the key challenges on the path to simulation-ready urban digital twins: scalability, extrapolation, and uncertainty. Ultimately, WildCity aims to catalyze progress not only in city-scale rendering, but more broadly in the pursuit of AI that can perceive, remember, and reason across space at a scale comparable to human cognition. Project page: https://han-xiangyu.github.io/Wild-City/