WildCity: Um Ambiente de Teste em Escala Urbana do Mundo Real para Renderização, Simulação e Inteligência Espacial

Resumo

Humanos podem navegar por uma cidade desconhecida e gradualmente formar um mapa mental espacial coerente que abrange dezenas de quilômetros quadrados. A IA pode construir representações espaciais em escala comparável? Embora modelos fundamentais recentes tenham avançado na reconstrução de cenas e na inteligência incorporada, escalar para cidades inteiras continua sendo um desafio em aberto, principalmente devido à falta de dados em escala urbana. Para preencher essa lacuna, apresentamos o WildCity, um conjunto de dados multimodal do mundo real coletado por frotas autônomas que percorrem ambientes urbanos complexos. Nosso conjunto de dados inclui 18 trajetórias, cada uma com média de 83,7 quilômetros de extensão, e preserva os desafios centrais da percepção em ambientes reais, como objetos dinâmicos, variações de iluminação e poses imperfeitas da câmera. Estabelecemos ainda uma linha de base de reconstrução adaptada ao ambiente urbano e convertemos os ambientes reconstruídos em um simulador de malha fechada. Além do conjunto de dados e da linha de base, analisamos sistematicamente os principais desafios no caminho para gêmeos digitais urbanos prontos para simulação: escalabilidade, extrapolação e incerteza. Em última análise, o WildCity visa catalisar o progresso não apenas na renderização em escala urbana, mas de forma mais ampla na busca por uma IA que possa perceber, lembrar e raciocinar no espaço em uma escala comparável à cognição humana. Página do projeto: https://han-xiangyu.github.io/Wild-City/

English

Humans can navigate an unfamiliar city and gradually form a coherent spatial mental map spanning tens of square kilometers. Can AI build spatial representations at a comparable scale? Although recent foundation models have advanced scene reconstruction and embodied intelligence, scaling to entire cities remains an open challenge, primarily due to the lack of city-scale data. To bridge the gap, we introduce WildCity, a real-world multimodal dataset collected by autonomous fleets traversing complex urban environments. Our dataset includes 18 trajectories, each averaging 83.7 kilometers in length, and preserves the core challenges of in-the-wild perception, e.g., dynamic objects, lighting variations, and imperfect camera poses. We further establish an urban-tailored reconstruction baseline and convert the reconstructed environments into a closed-loop simulator. Beyond the dataset and baseline, we systematically analyze the key challenges on the path to simulation-ready urban digital twins: scalability, extrapolation, and uncertainty. Ultimately, WildCity aims to catalyze progress not only in city-scale rendering, but more broadly in the pursuit of AI that can perceive, remember, and reason across space at a scale comparable to human cognition. Project page: https://han-xiangyu.github.io/Wild-City/