SNAP: Anulación del Hablante para la Proyección de Artefactos en la Detección de Deepfakes de Voz
SNAP: Speaker Nulling for Artifact Projection in Speech Deepfake Detection
March 21, 2026
Autores: Kyudan Jung, Jihwan Kim, Minwoo Lee, Soyoon Kim, Jeonghoon Kim, Jaegul Choo, Cheonbok Park
cs.AI
Resumen
Los recientes avances en tecnologías de conversión de texto a voz permiten generar habla sintética de alta fidelidad casi indistinguible de las voces humanas reales. Si bien estudios recientes demuestran la eficacia de los codificadores de voz basados en aprendizaje auto-supervisado para la detección de deepfakes, estos modelos presentan dificultades para generalizar entre locutores no vistos. Nuestro análisis cuantitativo sugiere que estas representaciones del codificador están sustancialmente influenciadas por información del locutor, haciendo que los detectores exploten correlaciones específicas del hablante en lugar de claves relacionadas con artefactos. Denominamos a este fenómeno entrelazamiento del locutor. Para mitigar esta dependencia, presentamos SNAP, un marco de trabajo de anulación del locutor. Estimamos un subespacio del locutor y aplicamos proyección ortogonal para suprimir los componentes dependientes del hablante, aislando los artefactos de síntesis en las características residuales. Al reducir el entrelazamiento del locutor, SNAP incentiva a los detectores a centrarse en patrones relacionados con artefactos, logrando un rendimiento de vanguardia.
English
Recent advancements in text-to-speech technologies enable generating high-fidelity synthetic speech nearly indistinguishable from real human voices. While recent studies show the efficacy of self-supervised learning-based speech encoders for deepfake detection, these models struggle to generalize across unseen speakers. Our quantitative analysis suggests these encoder representations are substantially influenced by speaker information, causing detectors to exploit speaker-specific correlations rather than artifact-related cues. We call this phenomenon speaker entanglement. To mitigate this reliance, we introduce SNAP, a speaker-nulling framework. We estimate a speaker subspace and apply orthogonal projection to suppress speaker-dependent components, isolating synthesis artifacts within the residual features. By reducing speaker entanglement, SNAP encourages detectors to focus on artifact-related patterns, leading to state-of-the-art performance.