Achten Vision-Language-Modelle auf kontextuelle Integrität bei der Standortpreisgabe?
Do Vision-Language Models Respect Contextual Integrity in Location Disclosure?
February 4, 2026
papers.authors: Ruixin Yang, Ethan Mendes, Arthur Wang, James Hays, Sauvik Das, Wei Xu, Alan Ritter
cs.AI
papers.abstract
Vision-Sprach-Modelle (VLMs) haben beeindruckende Leistungen bei der Bildgeolokalisierung gezeigt, eine Fähigkeit, die durch moderne multimodale Großmodelle für logisches Schließen (MLRMs) weiter geschärft wurde. Dies birgt ein erhebliches Privatsphärenrisiko, da diese weit verbreiteten Modelle genutzt werden können, um sensible Standorte aus beiläufig geteilten Fotos abzuleiten – oft mit Straßenebenen-Genauigkeit, die möglicherweise das vom Teilnehmer genehmigte oder beabsichtigte Maß an Detailtreue übersteigt. Während neuere Arbeiten vorschlagen, pauschal die Offenlegung von Geolokalisierungsdaten zu beschränken, um diesem Risiko zu begegnen, unterscheiden diese Maßnahmen nicht zwischen legitimen Geolokalisierungsanwendungen und bösartigem Verhalten. Stattdessen sollten VLMs kontextuelle Integrität wahren, indem sie Elemente innerhalb eines Bildes analysieren, um die angemessene Ebene der Informationspreisgabe zu bestimmen und so Privatsphäre und Nutzen abzuwägen. Um zu bewerten, wie gut Modelle kontextuelle Integrität respektieren, führen wir VLM-GEOPRIVACY ein, einen Benchmark, der VLMs herausfordert, latente soziale Normen und kontextuelle Hinweise in realen Bildern zu interpretieren und das angemessene Maß an Standortpreisgabe zu bestimmen. Unsere Auswertung von 14 führenden VLMs zeigt, dass die Modelle trotz ihrer Fähigkeit zur präzisen Geolokalisierung von Bildern kaum mit den Privatsphäreerwartungen des Menschen übereinstimmen. Sie geben in sensiblen Kontexten oft zu viele Informationen preis und sind anfällig für Prompt-basierte Angriffe. Unsere Ergebnisse erfordern neue Designprinzipien für multimodale Systeme, um kontextbedingte Privatsphärenabwägungen zu integrieren.
English
Vision-language models (VLMs) have demonstrated strong performance in image geolocation, a capability further sharpened by frontier multimodal large reasoning models (MLRMs). This poses a significant privacy risk, as these widely accessible models can be exploited to infer sensitive locations from casually shared photos, often at street-level precision, potentially surpassing the level of detail the sharer consented or intended to disclose. While recent work has proposed applying a blanket restriction on geolocation disclosure to combat this risk, these measures fail to distinguish valid geolocation uses from malicious behavior. Instead, VLMs should maintain contextual integrity by reasoning about elements within an image to determine the appropriate level of information disclosure, balancing privacy and utility. To evaluate how well models respect contextual integrity, we introduce VLM-GEOPRIVACY, a benchmark that challenges VLMs to interpret latent social norms and contextual cues in real-world images and determine the appropriate level of location disclosure. Our evaluation of 14 leading VLMs shows that, despite their ability to precisely geolocate images, the models are poorly aligned with human privacy expectations. They often over-disclose in sensitive contexts and are vulnerable to prompt-based attacks. Our results call for new design principles in multimodal systems to incorporate context-conditioned privacy reasoning.