CityLens: Benchmarking von großen Sprach-Bild-Modellen für die urbane sozioökonomische Wahrnehmung

CityLens: Benchmarking Large Language-Vision Models for Urban Socioeconomic Sensing

May 31, 2025

Autoren: Tianhui Liu, Jie Feng, Hetian Pang, Xin Zhang, Tianjian Ouyang, Zhiyuan Zhang, Yong Li

cs.AI

Zusammenfassung

Das Verständnis städtischer sozioökonomischer Bedingungen durch visuelle Daten ist eine herausfordernde, aber wesentliche Aufgabe für nachhaltige Stadtentwicklung und politische Planung. In dieser Arbeit stellen wir CityLens vor, einen umfassenden Benchmark, der entwickelt wurde, um die Fähigkeiten großer Sprach-Bild-Modelle (LLVMs) zur Vorhersage sozioökonomischer Indikatoren aus Satelliten- und Street-View-Bildern zu bewerten. Wir erstellen einen multimodalen Datensatz, der insgesamt 17 global verteilte Städte abdeckt und sechs Schlüsselbereiche umfasst: Wirtschaft, Bildung, Kriminalität, Verkehr, Gesundheit und Umwelt, was die vielschichtige Natur des städtischen Lebens widerspiegelt. Basierend auf diesem Datensatz definieren wir 11 Vorhersageaufgaben und verwenden drei Bewertungsparadigmen: Direkte Metrikvorhersage, Normalisierte Metrikschätzung und Merkmalsbasierte Regression. Wir benchmarken 17 state-of-the-art LLVMs in diesen Aufgaben. Unsere Ergebnisse zeigen, dass LLVMs zwar vielversprechende Wahrnehmungs- und Schlussfolgerungsfähigkeiten aufweisen, aber dennoch Einschränkungen bei der Vorhersage städtischer sozioökonomischer Indikatoren haben. CityLens bietet einen einheitlichen Rahmen zur Diagnose dieser Einschränkungen und zur zukünftigen Nutzung von LLVMs zum Verständnis und zur Vorhersage städtischer sozioökonomischer Muster. Unsere Codes und Datensätze sind unter https://github.com/tsinghua-fib-lab/CityLens open-source verfügbar.

English

Understanding urban socioeconomic conditions through visual data is a challenging yet essential task for sustainable urban development and policy planning. In this work, we introduce CityLens, a comprehensive benchmark designed to evaluate the capabilities of large language-vision models (LLVMs) in predicting socioeconomic indicators from satellite and street view imagery. We construct a multi-modal dataset covering a total of 17 globally distributed cities, spanning 6 key domains: economy, education, crime, transport, health, and environment, reflecting the multifaceted nature of urban life. Based on this dataset, we define 11 prediction tasks and utilize three evaluation paradigms: Direct Metric Prediction, Normalized Metric Estimation, and Feature-Based Regression. We benchmark 17 state-of-the-art LLVMs across these tasks. Our results reveal that while LLVMs demonstrate promising perceptual and reasoning capabilities, they still exhibit limitations in predicting urban socioeconomic indicators. CityLens provides a unified framework for diagnosing these limitations and guiding future efforts in using LLVMs to understand and predict urban socioeconomic patterns. Our codes and datasets are open-sourced via https://github.com/tsinghua-fib-lab/CityLens.