SNAP: Sprecherlöschung zur Artefaktprojektion bei der Erkennung von Sprach-Deepfakes
SNAP: Speaker Nulling for Artifact Projection in Speech Deepfake Detection
March 21, 2026
Autoren: Kyudan Jung, Jihwan Kim, Minwoo Lee, Soyoon Kim, Jeonghoon Kim, Jaegul Choo, Cheonbok Park
cs.AI
Zusammenfassung
Jüngste Fortschritte in der Text-zu-Sprache-Technologie ermöglichen die Erzeugung hochwertiger synthetischer Sprache, die von echten menschlichen Stimmen kaum zu unterscheiden ist. Während aktuelle Studien die Wirksamkeit von Sprachkodierern auf Basis selbstüberwachten Lernens zur Erkennung von Deepfakes zeigen, haben diese Modelle Schwierigkeiten, sich auf unbekannte Sprecher zu verallgemeinern. Unsere quantitative Analyse legt nahe, dass diese Kodierer-Repräsentationen maßgeblich von Sprecherinformationen beeinflusst werden, was dazu führt, dass Detektoren sprecherspezifische Korrelationen anstelle von artefaktbezogenen Merkmalen ausnutzen. Wir bezeichnen dieses Phänomen als Sprecherverschränkung. Um diese Abhängigkeit zu verringern, führen wir SNAP ein, ein Framework zur Sprechereliminierung. Wir schätzen einen Sprecher-Unterraum an und wenden eine orthogonale Projektion an, um sprecherabhängige Komponenten zu unterdrücken und Syntheseartefakte innerhalb der Residualmerkmale zu isolieren. Durch die Reduzierung der Sprecherverschränkung ermöglicht SNAP Detektoren, sich auf artefaktbezogene Muster zu konzentrieren, was zu state-of-the-art Ergebnissen führt.
English
Recent advancements in text-to-speech technologies enable generating high-fidelity synthetic speech nearly indistinguishable from real human voices. While recent studies show the efficacy of self-supervised learning-based speech encoders for deepfake detection, these models struggle to generalize across unseen speakers. Our quantitative analysis suggests these encoder representations are substantially influenced by speaker information, causing detectors to exploit speaker-specific correlations rather than artifact-related cues. We call this phenomenon speaker entanglement. To mitigate this reliance, we introduce SNAP, a speaker-nulling framework. We estimate a speaker subspace and apply orthogonal projection to suppress speaker-dependent components, isolating synthesis artifacts within the residual features. By reducing speaker entanglement, SNAP encourages detectors to focus on artifact-related patterns, leading to state-of-the-art performance.