Concept-Aware Privacymechanismen ter Bescherming tegen Embedding-Inversieaanvallen

Concept-Aware Privacy Mechanisms for Defending Embedding Inversion Attacks

February 6, 2026

Auteurs: Yu-Che Tsai, Hsiang Hsiao, Kuan-Yu Chen, Shou-De Lin

cs.AI

Samenvatting

Tekst-embeddingen maken talloze NLP-toepassingen mogelijk, maar lopen ernstige privacyrisico's door embedding-inversieaanvallen, die gevoelige attributen kunnen blootleggen of ruwe tekst kunnen reconstrueren. Bestaande differentiële-privacyverdedigingen gaan uit van uniforme gevoeligheid over alle embeddingdimensies, wat leidt tot excessieve ruis en verminderde functionaliteit. Wij stellen SPARSE voor, een gebruikersgericht raamwerk voor conceptspecifieke privacybescherming in tekst-embeddingen. SPARSE combineert (1) differentieerbare maskerlearning om privacygevoelige dimensies voor door gebruikers gedefinieerde concepten te identificeren, en (2) het Mahalanobis-mechanisme dat elliptische ruis toepast, gekalibreerd op dimensiegevoeligheid. In tegenstelling tot traditionele sferische ruisinjectie, verstoort SPARSE selectief privacygevoelige dimensies terwijl niet-gevoelige semantiek behouden blijft. Evaluaties over zes datasets met drie embeddingmodellen en aanvalsscenario's tonen aan dat SPARSE consequent privacylekken vermindert en superieure downstreamprestaties bereikt vergeleken met state-of-the-art DP-methoden.

English

Text embeddings enable numerous NLP applications but face severe privacy risks from embedding inversion attacks, which can expose sensitive attributes or reconstruct raw text. Existing differential privacy defenses assume uniform sensitivity across embedding dimensions, leading to excessive noise and degraded utility. We propose SPARSE, a user-centric framework for concept-specific privacy protection in text embeddings. SPARSE combines (1) differentiable mask learning to identify privacy-sensitive dimensions for user-defined concepts, and (2) the Mahalanobis mechanism that applies elliptical noise calibrated by dimension sensitivity. Unlike traditional spherical noise injection, SPARSE selectively perturbs privacy-sensitive dimensions while preserving non-sensitive semantics. Evaluated across six datasets with three embedding models and attack scenarios, SPARSE consistently reduces privacy leakage while achieving superior downstream performance compared to state-of-the-art DP methods.