비전-언어 모델은 위치 정보 공개에 있어 맥락적 무결성을 존중하는가?

Do Vision-Language Models Respect Contextual Integrity in Location Disclosure?

February 4, 2026

저자: Ruixin Yang, Ethan Mendes, Arthur Wang, James Hays, Sauvik Das, Wei Xu, Alan Ritter

cs.AI

초록

비전-언어 모델(VLM)은 이미지 위치 추적에서 강력한 성능을 보여왔으며, 최첨단 멀티모달 대규모 추론 모델(MLRM)에 의해 이 능력이 더욱 정교해졌습니다. 이는 널리 접근 가능한 이러한 모델들이 일상적으로 공유된 사진에서 민감한 위치를 추론하는 데 악용될 수 있어 심각한 프라이버시 위험을 야기합니다. 종종 가로수준의 정밀도로 공유자가 동의하거나 의도한 수준을 넘어서는 세부 정보를 노출할 가능성이 있습니다. 최근 연구에서는 이러한 위험을 막기 위해 위치 정보 공개에 대한 전면적 제한을 적용하는 방안이 제안되었지만, 이러한 조치는 악의적 행위와 적절한 위치 정보 사용을 구분하지 못합니다. 대신 VLM은 이미지 내 요소를 추론하여 적절한 정보 공개 수준을 결정함으로써 프라이버시와 유용성의 균형을 잡고 상황적 무결성을 유지해야 합니다. 모델이 상황적 무결성을 얼마나 잘 준수하는지 평가하기 위해 우리는 VLM이 실제 이미지의 잠재적 사회적 규범과 상황적 단서를 해석하고 적절한 위치 공개 수준을 결정하도록 요구하는 벤치마크인 VLM-GEOPRIVACY를 소개합니다. 14개의 주요 VLM에 대한 우리의 평가 결과, 모델들이 이미지를 정확하게 위치 추적할 수 있는 능력에도 불구하고 인간의 프라이버시 기대치와는 크게 부조화됨을 보여줍니다. 모델들은 민감한 상황에서 정보를 과도하게 공유하는 경우가 많으며, 프롬프트 기반 공격에 취약합니다. 우리의 결과는 멀티모달 시스템에 상황에 따른 프라이버시 추론을 통합하기 위한 새로운 설계 원칙의 필요성을 촉구합니다.

English

Vision-language models (VLMs) have demonstrated strong performance in image geolocation, a capability further sharpened by frontier multimodal large reasoning models (MLRMs). This poses a significant privacy risk, as these widely accessible models can be exploited to infer sensitive locations from casually shared photos, often at street-level precision, potentially surpassing the level of detail the sharer consented or intended to disclose. While recent work has proposed applying a blanket restriction on geolocation disclosure to combat this risk, these measures fail to distinguish valid geolocation uses from malicious behavior. Instead, VLMs should maintain contextual integrity by reasoning about elements within an image to determine the appropriate level of information disclosure, balancing privacy and utility. To evaluate how well models respect contextual integrity, we introduce VLM-GEOPRIVACY, a benchmark that challenges VLMs to interpret latent social norms and contextual cues in real-world images and determine the appropriate level of location disclosure. Our evaluation of 14 leading VLMs shows that, despite their ability to precisely geolocate images, the models are poorly aligned with human privacy expectations. They often over-disclose in sensitive contexts and are vulnerable to prompt-based attacks. Our results call for new design principles in multimodal systems to incorporate context-conditioned privacy reasoning.