Konzeptbewusste Datenschutzmechanismen zur Abwehr von Embedding-Inversionsangriffen

Concept-Aware Privacy Mechanisms for Defending Embedding Inversion Attacks

February 6, 2026

papers.authors: Yu-Che Tsai, Hsiang Hsiao, Kuan-Yu Chen, Shou-De Lin

cs.AI

papers.abstract

Texteinbettungen ermöglichen zahlreiche NLP-Anwendungen, sind jedoch erheblichen Datenschutzrisiken durch Embedding-Inversionsangriffe ausgesetzt, die sensible Attribute offenlegen oder Rohtext rekonstruieren können. Bestehende Differential-Privacy-Verteidigungsansätze gehen von einheitlicher Sensitivität über alle Embedding-Dimensionen aus, was zu übermäßigem Rauschen und eingeschränkter Nutzbarkeit führt. Wir stellen SPARSE vor, ein nutzerzentriertes Framework für konzeptspezifischen Datenschutz in Texteinbettungen. SPARSE kombiniert (1) differenzierbare Maskenlernverfahren zur Identifikation privatsphäresensitiver Dimensionen für benutzerdefinierte Konzepte mit (2) dem Mahalanobis-Mechanismus, der elliptisches Rauschen anwendet, das an die Dimensionssensitivität kalibriert wird. Im Gegensatz zur traditionellen sphärischen Rauschinjektion perturbiert SPARSE selektiv privatsphäresensitive Dimensionen und erhält gleichzeitig nicht-sensitive Semantik bei. Evaluierungen über sechs Datensätze mit drei Embedding-Modellen und Angriffsszenarien zeigen, dass SPARSE durchgängig Privatsphäre-Leckagen reduziert und gleichzeitig eine überlegene Downstream-Leistung im Vergleich zu modernen DP-Methoden erzielt.

English

Text embeddings enable numerous NLP applications but face severe privacy risks from embedding inversion attacks, which can expose sensitive attributes or reconstruct raw text. Existing differential privacy defenses assume uniform sensitivity across embedding dimensions, leading to excessive noise and degraded utility. We propose SPARSE, a user-centric framework for concept-specific privacy protection in text embeddings. SPARSE combines (1) differentiable mask learning to identify privacy-sensitive dimensions for user-defined concepts, and (2) the Mahalanobis mechanism that applies elliptical noise calibrated by dimension sensitivity. Unlike traditional spherical noise injection, SPARSE selectively perturbs privacy-sensitive dimensions while preserving non-sensitive semantics. Evaluated across six datasets with three embedding models and attack scenarios, SPARSE consistently reduces privacy leakage while achieving superior downstream performance compared to state-of-the-art DP methods.