WildCity: Реальный испытательный полигон городского масштаба для рендеринга, симуляции и пространственного интеллекта

Аннотация

Люди способны ориентироваться в незнакомом городе и постепенно формировать целостную пространственную ментальную карту, охватывающую десятки квадратных километров. Может ли ИИ строить пространственные представления сопоставимого масштаба? Хотя недавние фундаментальные модели продвинули реконструкцию сцен и воплощенный интеллект, масштабирование до целых городов остается открытой задачей, в первую очередь из-за отсутствия данных городского масштаба. Для преодоления этого разрыва мы представляем WildCity — реальный мультимодальный набор данных, собранный автономными автопарками, перемещающимися по сложной городской среде. Наш набор данных включает 18 траекторий, средняя длина каждой из которых составляет 83,7 километра, и сохраняет ключевые задачи восприятия в естественных условиях, такие как динамические объекты, вариации освещения и несовершенные положения камер. Мы также создаем базовую линию реконструкции, адаптированную для городских условий, и преобразуем реконструированную среду в симулятор с замкнутым контуром. Помимо набора данных и базовой линии, мы систематически анализируем ключевые проблемы на пути к готовым к симуляции городским цифровым двойникам: масштабируемость, экстраполяцию и неопределенность. В конечном счете, WildCity направлен на стимулирование прогресса не только в рендеринге городского масштаба, но и в более широком стремлении к ИИ, способному воспринимать, запоминать и рассуждать о пространстве в масштабе, сопоставимом с человеческим познанием. Страница проекта: https://han-xiangyu.github.io/Wild-City/

English

Humans can navigate an unfamiliar city and gradually form a coherent spatial mental map spanning tens of square kilometers. Can AI build spatial representations at a comparable scale? Although recent foundation models have advanced scene reconstruction and embodied intelligence, scaling to entire cities remains an open challenge, primarily due to the lack of city-scale data. To bridge the gap, we introduce WildCity, a real-world multimodal dataset collected by autonomous fleets traversing complex urban environments. Our dataset includes 18 trajectories, each averaging 83.7 kilometers in length, and preserves the core challenges of in-the-wild perception, e.g., dynamic objects, lighting variations, and imperfect camera poses. We further establish an urban-tailored reconstruction baseline and convert the reconstructed environments into a closed-loop simulator. Beyond the dataset and baseline, we systematically analyze the key challenges on the path to simulation-ready urban digital twins: scalability, extrapolation, and uncertainty. Ultimately, WildCity aims to catalyze progress not only in city-scale rendering, but more broadly in the pursuit of AI that can perceive, remember, and reason across space at a scale comparable to human cognition. Project page: https://han-xiangyu.github.io/Wild-City/