WildCity: Un banco de pruebas a escala de ciudad real para renderizado, simulación e inteligencia espacial

Resumen

Los seres humanos pueden navegar por una ciudad desconocida y formar gradualmente un mapa mental espacial coherente que abarca decenas de kilómetros cuadrados. ¿Puede la IA construir representaciones espaciales a una escala comparable? Aunque los modelos fundacionales recientes han avanzado en la reconstrucción de escenas y la inteligencia encarnada, escalar a ciudades enteras sigue siendo un desafío abierto, debido principalmente a la falta de datos a escala urbana. Para cerrar esta brecha, presentamos WildCity, un conjunto de datos multimodal del mundo real recopilado por flotas autónomas que recorren entornos urbanos complejos. Nuestro conjunto de datos incluye 18 trayectorias, cada una con una longitud promedio de 83,7 kilómetros, y conserva los desafíos fundamentales de la percepción in-the-wild, como objetos dinámicos, variaciones de iluminación y poses de cámara imperfectas. Además, establecemos una línea base de reconstrucción adaptada a entornos urbanos y convertimos los entornos reconstruidos en un simulador de bucle cerrado. Más allá del conjunto de datos y la línea base, analizamos sistemáticamente los desafíos clave en el camino hacia gemelos digitales urbanos listos para simulación: escalabilidad, extrapolación e incertidumbre. En última instancia, WildCity aspira a catalizar el progreso no solo en el renderizado a escala urbana, sino también en la búsqueda más amplia de una IA que pueda percibir, recordar y razonar a través del espacio a una escala comparable a la cognición humana. Página del proyecto: https://han-xiangyu.github.io/Wild-City/

English

Humans can navigate an unfamiliar city and gradually form a coherent spatial mental map spanning tens of square kilometers. Can AI build spatial representations at a comparable scale? Although recent foundation models have advanced scene reconstruction and embodied intelligence, scaling to entire cities remains an open challenge, primarily due to the lack of city-scale data. To bridge the gap, we introduce WildCity, a real-world multimodal dataset collected by autonomous fleets traversing complex urban environments. Our dataset includes 18 trajectories, each averaging 83.7 kilometers in length, and preserves the core challenges of in-the-wild perception, e.g., dynamic objects, lighting variations, and imperfect camera poses. We further establish an urban-tailored reconstruction baseline and convert the reconstructed environments into a closed-loop simulator. Beyond the dataset and baseline, we systematically analyze the key challenges on the path to simulation-ready urban digital twins: scalability, extrapolation, and uncertainty. Ultimately, WildCity aims to catalyze progress not only in city-scale rendering, but more broadly in the pursuit of AI that can perceive, remember, and reason across space at a scale comparable to human cognition. Project page: https://han-xiangyu.github.io/Wild-City/