OpenCity3D: Wat weten Vision-Language Modellen over Stedelijke Omgevingen?

OpenCity3D: What do Vision-Language Models know about Urban Environments?

March 21, 2025

Auteurs: Valentin Bieri, Marco Zamboni, Nicolas S. Blumer, Qingxuan Chen, Francis Engelmann

cs.AI

Samenvatting

Vision-language modellen (VLMs) tonen veelbelovende mogelijkheden voor 3D-scènebegrip, maar worden voornamelijk toegepast in binnenruimtes of autonoom rijden, met een focus op laag-niveau taken zoals segmentatie. Dit werk breidt hun toepassing uit naar stedelijke omgevingen door gebruik te maken van 3D-reconstructies op basis van multi-view luchtfoto's. Wij introduceren OpenCity3D, een benadering die zich richt op hoog-niveau taken, zoals schatting van bevolkingsdichtheid, classificatie van gebouwen op leeftijd, voorspelling van vastgoedprijzen, inschatting van criminaliteitscijfers en evaluatie van geluidsoverlast. Onze bevindingen benadrukken de indrukwekkende zero-shot en few-shot mogelijkheden van OpenCity3D, wat de aanpassingsvermogen aan nieuwe contexten aantoont. Dit onderzoek vestigt een nieuw paradigma voor taalgestuurde stedelijke analyses, wat toepassingen mogelijk maakt in planning, beleid en milieumonitoring. Bezoek onze projectpagina: opencity3d.github.io

English

Vision-language models (VLMs) show great promise for 3D scene understanding but are mainly applied to indoor spaces or autonomous driving, focusing on low-level tasks like segmentation. This work expands their use to urban-scale environments by leveraging 3D reconstructions from multi-view aerial imagery. We propose OpenCity3D, an approach that addresses high-level tasks, such as population density estimation, building age classification, property price prediction, crime rate assessment, and noise pollution evaluation. Our findings highlight OpenCity3D's impressive zero-shot and few-shot capabilities, showcasing adaptability to new contexts. This research establishes a new paradigm for language-driven urban analytics, enabling applications in planning, policy, and environmental monitoring. See our project page: opencity3d.github.io