EgoPrivacy: Wat Onthult Jouw Eerste-Persoonscamera Over Jou?

EgoPrivacy: What Your First-Person Camera Says About You?

June 13, 2025

Auteurs: Yijiang Li, Genpei Zhang, Jiacheng Cheng, Yi Li, Xiaojun Shan, Dashan Gao, Jiancheng Lyu, Yuan Li, Ning Bi, Nuno Vasconcelos

cs.AI

Samenvatting

Terwijl de snelle opkomst van draagbare camera's aanzienlijke zorgen heeft gewekt over de privacy van egocentrische video's, heeft eerder onderzoek grotendeels de unieke privacybedreigingen voor de drager van de camera over het hoofd gezien. Dit onderzoek gaat in op de kernvraag: Hoeveel privacy-informatie over de drager van de camera kan worden afgeleid uit hun first-person view video's? We introduceren EgoPrivacy, de eerste grootschalige benchmark voor de uitgebreide evaluatie van privacyrisico's in egocentrische visie. EgoPrivacy behandelt drie soorten privacy (demografisch, individueel en situationeel), waarbij zeven taken worden gedefinieerd die gericht zijn op het achterhalen van privé-informatie, variërend van fijnmazig (bijv. de identiteit van de drager) tot grofmazig (bijv. leeftijdsgroep). Om de inherente privacybedreigingen van egocentrische visie verder te benadrukken, stellen we Retrieval-Augmented Attack voor, een nieuwe aanvalsstrategie die gebruikmaakt van ego-naar-exo retrieval uit een externe pool van exocentrische video's om de effectiviteit van demografische privacyaanvallen te vergroten. Een uitgebreide vergelijking van de verschillende aanvallen die mogelijk zijn onder alle bedreigingsmodellen wordt gepresenteerd, waaruit blijkt dat de privé-informatie van de drager zeer gevoelig is voor lekken. Onze bevindingen geven bijvoorbeeld aan dat foundation-modellen de privacy van de drager effectief kunnen compromitteren, zelfs in zero-shot settings, door attributen zoals identiteit, scène, geslacht en ras met 70-80% nauwkeurigheid te achterhalen. Onze code en gegevens zijn beschikbaar op https://github.com/williamium3000/ego-privacy.

English

While the rapid proliferation of wearable cameras has raised significant concerns about egocentric video privacy, prior work has largely overlooked the unique privacy threats posed to the camera wearer. This work investigates the core question: How much privacy information about the camera wearer can be inferred from their first-person view videos? We introduce EgoPrivacy, the first large-scale benchmark for the comprehensive evaluation of privacy risks in egocentric vision. EgoPrivacy covers three types of privacy (demographic, individual, and situational), defining seven tasks that aim to recover private information ranging from fine-grained (e.g., wearer's identity) to coarse-grained (e.g., age group). To further emphasize the privacy threats inherent to egocentric vision, we propose Retrieval-Augmented Attack, a novel attack strategy that leverages ego-to-exo retrieval from an external pool of exocentric videos to boost the effectiveness of demographic privacy attacks. An extensive comparison of the different attacks possible under all threat models is presented, showing that private information of the wearer is highly susceptible to leakage. For instance, our findings indicate that foundation models can effectively compromise wearer privacy even in zero-shot settings by recovering attributes such as identity, scene, gender, and race with 70-80% accuracy. Our code and data are available at https://github.com/williamium3000/ego-privacy.