EgoPrivacy: 당신의 퍼스널 카메라가 당신에 대해 말하는 것?

EgoPrivacy: What Your First-Person Camera Says About You?

June 13, 2025

저자: Yijiang Li, Genpei Zhang, Jiacheng Cheng, Yi Li, Xiaojun Shan, Dashan Gao, Jiancheng Lyu, Yuan Li, Ning Bi, Nuno Vasconcelos

cs.AI

초록

웨어러블 카메라의 급속한 확산은 에고센트릭 비디오 프라이버시에 대한 상당한 우려를 불러일으켰지만, 기존 연구는 대체로 카메라 착용자에게 발생하는 독특한 프라이버시 위협을 간과해 왔습니다. 본 연구는 핵심 질문을 탐구합니다: 카메라 착용자의 일인칭 시점 비디오로부터 얼마나 많은 프라이버시 정보를 추론할 수 있는가? 우리는 에고센트릭 비전에서의 프라이버시 위험을 종합적으로 평가하기 위한 최초의 대규모 벤치마크인 EgoPrivacy를 소개합니다. EgoPrivacy는 인구통계학적, 개인적, 상황적 세 가지 유형의 프라이버시를 다루며, 세분화된 정보(예: 착용자의 신원)부터 대략적인 정보(예: 연령대)까지 복구하는 것을 목표로 하는 일곱 가지 작업을 정의합니다. 에고센트릭 비전에 내재된 프라이버시 위협을 더욱 강조하기 위해, 우리는 외부의 엑소센트릭 비디오 풀에서 에고-엑소 검색을 활용하여 인구통계학적 프라이버시 공격의 효과를 증대시키는 새로운 공격 전략인 Retrieval-Augmented Attack을 제안합니다. 모든 위협 모델에서 가능한 다양한 공격 방법에 대한 광범위한 비교를 제시하며, 착용자의 프라이버시 정보가 누출되기 매우 취약함을 보여줍니다. 예를 들어, 우리의 연구 결과는 파운데이션 모델이 제로샷 설정에서도 신원, 장면, 성별, 인종과 같은 속성을 70-80%의 정확도로 복구함으로써 착용자의 프라이버시를 효과적으로 침해할 수 있음을 나타냅니다. 우리의 코드와 데이터는 https://github.com/williamium3000/ego-privacy에서 확인할 수 있습니다.

English

While the rapid proliferation of wearable cameras has raised significant concerns about egocentric video privacy, prior work has largely overlooked the unique privacy threats posed to the camera wearer. This work investigates the core question: How much privacy information about the camera wearer can be inferred from their first-person view videos? We introduce EgoPrivacy, the first large-scale benchmark for the comprehensive evaluation of privacy risks in egocentric vision. EgoPrivacy covers three types of privacy (demographic, individual, and situational), defining seven tasks that aim to recover private information ranging from fine-grained (e.g., wearer's identity) to coarse-grained (e.g., age group). To further emphasize the privacy threats inherent to egocentric vision, we propose Retrieval-Augmented Attack, a novel attack strategy that leverages ego-to-exo retrieval from an external pool of exocentric videos to boost the effectiveness of demographic privacy attacks. An extensive comparison of the different attacks possible under all threat models is presented, showing that private information of the wearer is highly susceptible to leakage. For instance, our findings indicate that foundation models can effectively compromise wearer privacy even in zero-shot settings by recovering attributes such as identity, scene, gender, and race with 70-80% accuracy. Our code and data are available at https://github.com/williamium3000/ego-privacy.