SNAP: Подавление диктора для проекции артефактов при детектировании дипфейков речи
SNAP: Speaker Nulling for Artifact Projection in Speech Deepfake Detection
March 21, 2026
Авторы: Kyudan Jung, Jihwan Kim, Minwoo Lee, Soyoon Kim, Jeonghoon Kim, Jaegul Choo, Cheonbok Park
cs.AI
Аннотация
Последние достижения в технологиях синтеза речи позволяют генерировать синтетическую речь высокой точности, практически неотличимую от настоящего человеческого голоса. Хотя современные исследования демонстрируют эффективность речевых энкодеров на основе самообучения для обнаружения дипфейков, эти модели плохо обобщаются на незнакомых дикторов. Наш количественный анализ показывает, что представления этих энкодеров существенно зависят от информации о дикторе, что заставляет детекторы использовать специфичные для диктора корреляции, а не признаки, связанные с артефактами. Мы называем это явление **запутанностью с диктором** (speaker entanglement). Чтобы снизить эту зависимость, мы представляем SNAP — фреймворк, обнуляющий влияние диктора. Мы оцениваем подпространство диктора и применяем ортогональную проекцию для подавления зависящих от диктора компонент, изолируя артефакты синтеза в остаточных признаках. Снижая запутанность с диктором, SNAP побуждает детекторы фокусироваться на артефакт-связанных паттернах, что приводит к передовой производительности.
English
Recent advancements in text-to-speech technologies enable generating high-fidelity synthetic speech nearly indistinguishable from real human voices. While recent studies show the efficacy of self-supervised learning-based speech encoders for deepfake detection, these models struggle to generalize across unseen speakers. Our quantitative analysis suggests these encoder representations are substantially influenced by speaker information, causing detectors to exploit speaker-specific correlations rather than artifact-related cues. We call this phenomenon speaker entanglement. To mitigate this reliance, we introduce SNAP, a speaker-nulling framework. We estimate a speaker subspace and apply orthogonal projection to suppress speaker-dependent components, isolating synthesis artifacts within the residual features. By reducing speaker entanglement, SNAP encourages detectors to focus on artifact-related patterns, leading to state-of-the-art performance.