WildCity: 렌더링, 시뮬레이션 및 공간 지능을 위한 실제 도시 규모의 테스트베드

초록

인간은 익숙하지 않은 도시를 탐색하며 수십 제곱킬로미터에 달하는 일관된 공간적 정신 지도를 점진적으로 형성할 수 있다. AI도 이와 유사한 규모의 공간 표현을 구축할 수 있을까? 최근 기반 모델들이 장면 재구성 및 체화된 지능 분야에서 발전을 이루었지만, 도시 전체로 확장하는 것은 주로 도시 규모 데이터의 부족으로 인해 여전히 공개된 과제로 남아있다. 이 격차를 해소하기 위해, 우리는 복잡한 도시 환경을 주행하는 자율 주행 차량이 수집한 실제 세계의 다중 모드 데이터셋인 WildCity를 소개한다. 우리의 데이터셋은 각각 평균 83.7km 길이의 18개 궤적을 포함하며, 동적 객체, 조명 변화, 불완전한 카메라 포즈 등 실제 환경 인식의 핵심 과제를 보존한다. 또한 우리는 도시에 맞춤화된 재구성 기준선을 구축하고 재구성된 환경을 폐루프 시뮬레이터로 변환한다. 데이터셋과 기준선 외에도, 시뮬레이션 준비가 완료된 도시 디지털 트윈을 향한 주요 과제인 확장성, 외삽, 불확실성을 체계적으로 분석한다. 궁극적으로 WildCity는 도시 규모의 렌더링뿐만 아니라, 인간의 인지와 유사한 규모로 공간을 지각, 기억, 추론할 수 있는 AI를 추구하는 더 넓은 분야에서의 진전을 촉진하는 것을 목표로 한다. 프로젝트 페이지: https://han-xiangyu.github.io/Wild-City/

English

Humans can navigate an unfamiliar city and gradually form a coherent spatial mental map spanning tens of square kilometers. Can AI build spatial representations at a comparable scale? Although recent foundation models have advanced scene reconstruction and embodied intelligence, scaling to entire cities remains an open challenge, primarily due to the lack of city-scale data. To bridge the gap, we introduce WildCity, a real-world multimodal dataset collected by autonomous fleets traversing complex urban environments. Our dataset includes 18 trajectories, each averaging 83.7 kilometers in length, and preserves the core challenges of in-the-wild perception, e.g., dynamic objects, lighting variations, and imperfect camera poses. We further establish an urban-tailored reconstruction baseline and convert the reconstructed environments into a closed-loop simulator. Beyond the dataset and baseline, we systematically analyze the key challenges on the path to simulation-ready urban digital twins: scalability, extrapolation, and uncertainty. Ultimately, WildCity aims to catalyze progress not only in city-scale rendering, but more broadly in the pursuit of AI that can perceive, remember, and reason across space at a scale comparable to human cognition. Project page: https://han-xiangyu.github.io/Wild-City/