SNAP: Annullamento del Parlante per la Proiezione di Artefatti nel Rilevamento di Deepfake Vocali
SNAP: Speaker Nulling for Artifact Projection in Speech Deepfake Detection
March 21, 2026
Autori: Kyudan Jung, Jihwan Kim, Minwoo Lee, Soyoon Kim, Jeonghoon Kim, Jaegul Choo, Cheonbok Park
cs.AI
Abstract
I recenti progressi nelle tecnologie di sintesi vocale consentono di generare parlato sintetico ad alta fedeltà quasi indistinguibile da voci umane reali. Sebbene studi recenti dimostrino l'efficacia di encoder vocali basati su apprendimento auto-supervisionato per il rilevamento di deepfake, questi modelli faticano a generalizzare su parlatori non visti. La nostra analisi quantitativa suggerisce che queste rappresentazioni dell'encoder siano sostanzialmente influenzate dalle informazioni del parlatore, portando i rilevatori a sfruttare correlazioni specifiche del parlante piuttosto che indizi legati ad artefatti. Definiamo questo fenomeno *speaker entanglement*. Per mitigare questa dipendenza, introduciamo SNAP, un framework di annullamento del parlante. Stimiamo un sottospazio del parlante e applichiamo una proiezione ortogonale per sopprimere le componenti dipendenti dal parlante, isolando gli artefatti di sintesi all'interno delle feature residue. Riducendo l'entanglement del parlante, SNAP incentiva i rilevatori a concentrarsi su pattern correlati agli artefatti, portando a prestazioni allo stato dell'arte.
English
Recent advancements in text-to-speech technologies enable generating high-fidelity synthetic speech nearly indistinguishable from real human voices. While recent studies show the efficacy of self-supervised learning-based speech encoders for deepfake detection, these models struggle to generalize across unseen speakers. Our quantitative analysis suggests these encoder representations are substantially influenced by speaker information, causing detectors to exploit speaker-specific correlations rather than artifact-related cues. We call this phenomenon speaker entanglement. To mitigate this reliance, we introduce SNAP, a speaker-nulling framework. We estimate a speaker subspace and apply orthogonal projection to suppress speaker-dependent components, isolating synthesis artifacts within the residual features. By reducing speaker entanglement, SNAP encourages detectors to focus on artifact-related patterns, leading to state-of-the-art performance.