WildCity: 現実世界の都市規模テストベッド ― レンダリング、シミュレーション、および空間インテリジェンスのための

要旨

人間は、見知らぬ街を移動しながら、数十平方キロメートルに及ぶ一貫した空間的な心的地図を徐々に形成することができる。AIも同様の規模で空間表現を構築できるだろうか。近年の基盤モデルはシーン再構成や身体性知能の進展をもたらしたものの、都市全体へのスケーリングは主に都市規模のデータ不足により未解決の課題である。このギャップを埋めるため、我々は複雑な都市環境を走行する自律走行車群によって収集された実世界マルチモーダルデータセット「WildCity」を紹介する。本データセットには18の軌跡が含まれ、各軌跡の平均長は83.7kmであり、動的物体、照明変動、不完全なカメラ姿勢といった野外知覚の核心的な課題を保持している。さらに、都市向けに調整された再構成ベースラインを確立し、再構成された環境をクローズドループシミュレータへと変換する。データセットとベースラインに加え、シミュレーション対応型都市デジタルツインへの道筋における主要な課題、すなわちスケーラビリティ、外挿、不確実性を体系的に分析する。最終的にWildCityは、都市規模のレンダリングだけでなく、人間の認知に匹敵する規模で空間を知覚・記憶・推論できるAIの追求全般を促進することを目指す。プロジェクトページ: https://han-xiangyu.github.io/Wild-City/

English

Humans can navigate an unfamiliar city and gradually form a coherent spatial mental map spanning tens of square kilometers. Can AI build spatial representations at a comparable scale? Although recent foundation models have advanced scene reconstruction and embodied intelligence, scaling to entire cities remains an open challenge, primarily due to the lack of city-scale data. To bridge the gap, we introduce WildCity, a real-world multimodal dataset collected by autonomous fleets traversing complex urban environments. Our dataset includes 18 trajectories, each averaging 83.7 kilometers in length, and preserves the core challenges of in-the-wild perception, e.g., dynamic objects, lighting variations, and imperfect camera poses. We further establish an urban-tailored reconstruction baseline and convert the reconstructed environments into a closed-loop simulator. Beyond the dataset and baseline, we systematically analyze the key challenges on the path to simulation-ready urban digital twins: scalability, extrapolation, and uncertainty. Ultimately, WildCity aims to catalyze progress not only in city-scale rendering, but more broadly in the pursuit of AI that can perceive, remember, and reason across space at a scale comparable to human cognition. Project page: https://han-xiangyu.github.io/Wild-City/