CityLens : Évaluation des modèles de langage-vision de grande envergure pour la détection socio-économique urbaine

CityLens: Benchmarking Large Language-Vision Models for Urban Socioeconomic Sensing

May 31, 2025

Auteurs: Tianhui Liu, Jie Feng, Hetian Pang, Xin Zhang, Tianjian Ouyang, Zhiyuan Zhang, Yong Li

cs.AI

Résumé

Comprendre les conditions socio-économiques urbaines à travers des données visuelles est une tâche complexe mais essentielle pour le développement urbain durable et la planification des politiques. Dans ce travail, nous présentons CityLens, un benchmark complet conçu pour évaluer les capacités des modèles de langage-vision à grande échelle (LLVMs) à prédire des indicateurs socio-économiques à partir d'images satellitaires et de vues de rue. Nous construisons un ensemble de données multi-modales couvrant un total de 17 villes réparties à travers le monde, englobant 6 domaines clés : économie, éducation, criminalité, transport, santé et environnement, reflétant ainsi la nature multifacette de la vie urbaine. Sur la base de cet ensemble de données, nous définissons 11 tâches de prédiction et utilisons trois paradigmes d'évaluation : Prédiction Directe de Métriques, Estimation Normalisée de Métriques et Régression Basée sur les Caractéristiques. Nous évaluons 17 LLVMs de pointe à travers ces tâches. Nos résultats révèlent que, bien que les LLVMs démontrent des capacités perceptuelles et de raisonnement prometteuses, ils présentent encore des limites dans la prédiction des indicateurs socio-économiques urbains. CityLens offre un cadre unifié pour diagnostiquer ces limites et guider les efforts futurs dans l'utilisation des LLVMs pour comprendre et prédire les modèles socio-économiques urbains. Nos codes et ensembles de données sont open-source via https://github.com/tsinghua-fib-lab/CityLens.

English

Understanding urban socioeconomic conditions through visual data is a challenging yet essential task for sustainable urban development and policy planning. In this work, we introduce CityLens, a comprehensive benchmark designed to evaluate the capabilities of large language-vision models (LLVMs) in predicting socioeconomic indicators from satellite and street view imagery. We construct a multi-modal dataset covering a total of 17 globally distributed cities, spanning 6 key domains: economy, education, crime, transport, health, and environment, reflecting the multifaceted nature of urban life. Based on this dataset, we define 11 prediction tasks and utilize three evaluation paradigms: Direct Metric Prediction, Normalized Metric Estimation, and Feature-Based Regression. We benchmark 17 state-of-the-art LLVMs across these tasks. Our results reveal that while LLVMs demonstrate promising perceptual and reasoning capabilities, they still exhibit limitations in predicting urban socioeconomic indicators. CityLens provides a unified framework for diagnosing these limitations and guiding future efforts in using LLVMs to understand and predict urban socioeconomic patterns. Our codes and datasets are open-sourced via https://github.com/tsinghua-fib-lab/CityLens.