OpenCity3D: O que os Modelos Visão-Linguagem sabem sobre Ambientes Urbanos?

OpenCity3D: What do Vision-Language Models know about Urban Environments?

March 21, 2025

Autores: Valentin Bieri, Marco Zamboni, Nicolas S. Blumer, Qingxuan Chen, Francis Engelmann

cs.AI

Resumo

Modelos visão-linguagem (VLMs) demonstram grande potencial para a compreensão de cenas 3D, mas são principalmente aplicados a espaços internos ou direção autônoma, focando em tarefas de baixo nível como segmentação. Este trabalho expande seu uso para ambientes em escala urbana, aproveitando reconstruções 3D a partir de imagens aéreas multiview. Propomos o OpenCity3D, uma abordagem que aborda tarefas de alto nível, como estimativa de densidade populacional, classificação da idade de edifícios, previsão de preços de propriedades, avaliação de taxas de criminalidade e avaliação de poluição sonora. Nossos resultados destacam as impressionantes capacidades zero-shot e few-shot do OpenCity3D, demonstrando adaptabilidade a novos contextos. Esta pesquisa estabelece um novo paradigma para análises urbanas orientadas por linguagem, permitindo aplicações em planejamento, políticas e monitoramento ambiental. Veja nossa página do projeto: opencity3d.github.io

English

Vision-language models (VLMs) show great promise for 3D scene understanding but are mainly applied to indoor spaces or autonomous driving, focusing on low-level tasks like segmentation. This work expands their use to urban-scale environments by leveraging 3D reconstructions from multi-view aerial imagery. We propose OpenCity3D, an approach that addresses high-level tasks, such as population density estimation, building age classification, property price prediction, crime rate assessment, and noise pollution evaluation. Our findings highlight OpenCity3D's impressive zero-shot and few-shot capabilities, showcasing adaptability to new contexts. This research establishes a new paradigm for language-driven urban analytics, enabling applications in planning, policy, and environmental monitoring. See our project page: opencity3d.github.io