Urbane sozio-semantische Segmentierung mit Vision-Language-Reasoning
Urban Socio-Semantic Segmentation with Vision-Language Reasoning
January 15, 2026
papers.authors: Yu Wang, Yi Wang, Rui Dai, Yujie Wang, Kaikui Liu, Xiangxiang Chu, Yansheng Li
cs.AI
papers.abstract
Als Knotenpunkte menschlicher Aktivität bestehen urbane Oberflächen aus einer Vielzahl semantischer Entitäten. Die Segmentierung dieser verschiedenen Entitäten aus Satellitenbildern ist entscheidend für eine Reihe nachgelagerter Anwendungen. Aktuelle fortschrittliche Segmentierungsmodelle können zuverlässig Entitäten segmentieren, die durch physische Attribute definiert sind (z.B. Gebäude, Gewässer), haben aber nach wie vor Schwierigkeiten mit sozial definierten Kategorien (z.B. Schulen, Parks). In dieser Arbeit erreichen wir eine sozio-semantische Segmentierung durch Reasoning mit Vision-Language-Modellen. Um dies zu ermöglichen, führen wir den Urban Socio-Semantic Segmentation-Datensatz namens SocioSeg ein, eine neue Ressource, die Satellitenbilder, digitale Karten und pixelgenaue Labels von sozialen semantischen Entitäten in einer hierarchischen Struktur umfasst. Zusätzlich schlagen wir ein neuartiges Vision-Language-Reasoning-Framework namens SocioReasoner vor, das den menschlichen Prozess der Identifizierung und Annotation sozialer semantischer Entitäten durch cross-modale Erkennung und mehrstufiges Reasoning nachbildet. Wir setzen Reinforcement Learning ein, um diesen nicht-differenzierbaren Prozess zu optimieren und die Reasoning-Fähigkeiten des Vision-Language-Modells zu aktivieren. Experimente zeigen die Verbesserungen unseres Ansatzes gegenüber state-of-the-art Modellen sowie eine starke Zero-Shot-Generalisierung. Unser Datensatz und Code sind verfügbar unter https://github.com/AMAP-ML/SocioReasoner.
English
As hubs of human activity, urban surfaces consist of a wealth of semantic entities. Segmenting these various entities from satellite imagery is crucial for a range of downstream applications. Current advanced segmentation models can reliably segment entities defined by physical attributes (e.g., buildings, water bodies) but still struggle with socially defined categories (e.g., schools, parks). In this work, we achieve socio-semantic segmentation by vision-language model reasoning. To facilitate this, we introduce the Urban Socio-Semantic Segmentation dataset named SocioSeg, a new resource comprising satellite imagery, digital maps, and pixel-level labels of social semantic entities organized in a hierarchical structure. Additionally, we propose a novel vision-language reasoning framework called SocioReasoner that simulates the human process of identifying and annotating social semantic entities via cross-modal recognition and multi-stage reasoning. We employ reinforcement learning to optimize this non-differentiable process and elicit the reasoning capabilities of the vision-language model. Experiments demonstrate our approach's gains over state-of-the-art models and strong zero-shot generalization. Our dataset and code are available in https://github.com/AMAP-ML/SocioReasoner.