Respecteren Vision-Language Modellen Contextuele Integriteit bij Locatiedisclosure?
Do Vision-Language Models Respect Contextual Integrity in Location Disclosure?
February 4, 2026
Auteurs: Ruixin Yang, Ethan Mendes, Arthur Wang, James Hays, Sauvik Das, Wei Xu, Alan Ritter
cs.AI
Samenvatting
Vision-language models (VLMs) hebben sterke prestaties getoond bij het geolokaliseren van afbeeldingen, een vaardigheid die verder is aangescherpt door geavanceerde multimodale grote redeneermodellen (MLRMs). Dit vormt een aanzienlijk privacyrisico, aangezien deze breed toegankelijke modellen kunnen worden misbruikt om gevoelige locaties af te leiden uit nonchalant gedeelde foto's, vaak met straatnauwkeurigheid, wat mogelijk het detailniveau overstijgt dat de deler toestond of van plan was bekend te maken. Hoewel recent onderzoek heeft voorgesteld om een algemene beperking op geolocatie-onthulling toe te passen om dit risico te bestrijden, slagen deze maatregelen er niet in om legitiem geolocatiegebruik te onderscheiden van kwaadwillig gedrag. In plaats daarvan zouden VLMs contextuele integriteit moeten handhaven door elementen binnen een afbeelding te analyseren om het passende niveau van informatieverschaffing te bepalen, waarbij een balans wordt gevonden tussen privacy en functionaliteit. Om te evalueren hoe goed modellen contextuele integriteit respecteren, introduceren we VLM-GEOPRIVACY, een benchmark die VLMs uitdaagt om latente sociale normen en contextuele signalen in real-world afbeeldingen te interpreteren en het juiste niveau van locatie-onthulling te bepalen. Onze evaluatie van 14 toonaangevende VLMs toont aan dat, ondanks hun vermogen om afbeeldingen precies te geolokaliseren, de modellen slecht zijn afgestemd op menselijke privacyverwachtingen. Ze onthullen vaak te veel informatie in gevoelige contexten en zijn kwetsbaar voor prompt-gebaseerde aanvallen. Onze resultaten pleiten voor nieuwe ontwerpprincipes in multimodale systemen om context-gestuurd privacyredeneren te integreren.
English
Vision-language models (VLMs) have demonstrated strong performance in image geolocation, a capability further sharpened by frontier multimodal large reasoning models (MLRMs). This poses a significant privacy risk, as these widely accessible models can be exploited to infer sensitive locations from casually shared photos, often at street-level precision, potentially surpassing the level of detail the sharer consented or intended to disclose. While recent work has proposed applying a blanket restriction on geolocation disclosure to combat this risk, these measures fail to distinguish valid geolocation uses from malicious behavior. Instead, VLMs should maintain contextual integrity by reasoning about elements within an image to determine the appropriate level of information disclosure, balancing privacy and utility. To evaluate how well models respect contextual integrity, we introduce VLM-GEOPRIVACY, a benchmark that challenges VLMs to interpret latent social norms and contextual cues in real-world images and determine the appropriate level of location disclosure. Our evaluation of 14 leading VLMs shows that, despite their ability to precisely geolocate images, the models are poorly aligned with human privacy expectations. They often over-disclose in sensitive contexts and are vulnerable to prompt-based attacks. Our results call for new design principles in multimodal systems to incorporate context-conditioned privacy reasoning.