EgoPrivacy: Was Ihre Egoperspektive-Kamera über Sie verrät?

EgoPrivacy: What Your First-Person Camera Says About You?

June 13, 2025

Autoren: Yijiang Li, Genpei Zhang, Jiacheng Cheng, Yi Li, Xiaojun Shan, Dashan Gao, Jiancheng Lyu, Yuan Li, Ning Bi, Nuno Vasconcelos

cs.AI

Zusammenfassung

Während die rasche Verbreitung tragbarer Kameras erhebliche Bedenken hinsichtlich der Privatsphäre bei egozentrischen Videos aufgeworfen hat, haben frühere Arbeiten die einzigartigen Datenschutzbedrohungen für den Kameraträger weitgehend übersehen. Diese Arbeit untersucht die Kernfrage: Wie viele private Informationen über den Kameraträger können aus seinen Ego-Perspektive-Videos abgeleitet werden? Wir stellen EgoPrivacy vor, den ersten groß angelegten Benchmark für die umfassende Bewertung von Datenschutzrisiken in der egozentrischen Bildverarbeitung. EgoPrivacy deckt drei Arten von Privatsphäre ab (demografisch, individuell und situativ) und definiert sieben Aufgaben, die darauf abzielen, private Informationen von feinkörnigen (z. B. die Identität des Trägers) bis hin zu grobkörnigen (z. B. Altersgruppe) zu rekonstruieren. Um die inhärenten Datenschutzbedrohungen der egozentrischen Bildverarbeitung weiter zu betonen, schlagen wir den Retrieval-Augmented Attack vor, eine neuartige Angriffsstrategie, die die Ego-zu-Exo-Rückgewinnung aus einem externen Pool exozentrischer Videos nutzt, um die Wirksamkeit demografischer Datenschutzangriffe zu steigern. Ein umfassender Vergleich der verschiedenen Angriffe unter allen Bedrohungsmodellen wird präsentiert, der zeigt, dass private Informationen des Trägers sehr anfällig für die Offenlegung sind. Beispielsweise deuten unsere Ergebnisse darauf hin, dass Foundation-Modelle die Privatsphäre des Trägers auch in Zero-Shot-Szenarien effektiv gefährden können, indem sie Attribute wie Identität, Szene, Geschlecht und Rasse mit einer Genauigkeit von 70-80 % rekonstruieren. Unser Code und unsere Daten sind unter https://github.com/williamium3000/ego-privacy verfügbar.

English

While the rapid proliferation of wearable cameras has raised significant concerns about egocentric video privacy, prior work has largely overlooked the unique privacy threats posed to the camera wearer. This work investigates the core question: How much privacy information about the camera wearer can be inferred from their first-person view videos? We introduce EgoPrivacy, the first large-scale benchmark for the comprehensive evaluation of privacy risks in egocentric vision. EgoPrivacy covers three types of privacy (demographic, individual, and situational), defining seven tasks that aim to recover private information ranging from fine-grained (e.g., wearer's identity) to coarse-grained (e.g., age group). To further emphasize the privacy threats inherent to egocentric vision, we propose Retrieval-Augmented Attack, a novel attack strategy that leverages ego-to-exo retrieval from an external pool of exocentric videos to boost the effectiveness of demographic privacy attacks. An extensive comparison of the different attacks possible under all threat models is presented, showing that private information of the wearer is highly susceptible to leakage. For instance, our findings indicate that foundation models can effectively compromise wearer privacy even in zero-shot settings by recovering attributes such as identity, scene, gender, and race with 70-80% accuracy. Our code and data are available at https://github.com/williamium3000/ego-privacy.