L'hypothèse du mélange alpha : raccourci de compositing dans la détection des deepfakes

Résumé

Les méthodes récentes de détection de deepfakes démontrent une amélioration de la généralisation inter-ensembles de données, mais les mécanismes sous-jacents restent peu explorés. Nous introduisons l'hypothèse du mélange alpha (Alpha Blending Hypothesis), selon laquelle les détecteurs à base d'images les plus performants fonctionnent principalement comme des chercheurs de mélange alpha ; plutôt que d'apprendre des anomalies sémantiques ou des empreintes neuronales génératives spécifiques, ils localisent des artefacts de composition de bas niveau introduits lors de l'intégration de visages manipulés dans les images cibles. Nous validons expérimentalement cette hypothèse, démontrant que les détecteurs de deepfakes présentent une sensibilité élevée aux images dites auto-mélangées (SBI) et aux manipulations non génératives. Nous proposons la méthode BlenD qui exploite un ensemble de données à grande échelle et diversifié d'images faciales réelles uniquement, augmenté avec des SBI. Cette approche atteint la meilleure moyenne de généralisation inter-ensembles de données sur 15 ensembles de données compositionnelles de deepfakes publiés entre 2019 et 2025, sans utiliser de deepfakes générés explicitement lors de l'entraînement. De plus, nous montrons que les prédictions issues de chercheurs de mélange explicites et de modèles résilients aux raccourcis de mélange sont hautement complémentaires, obtenant une AUROC de pointe de 94,0 % dans une configuration d'ensemble. Le code des expériences et le modèle entraîné seront mis à disposition publiquement.

English

Recent deepfake detection methods demonstrate improved cross-dataset generalization, yet the underlying mechanisms remain underexplored. We introduce the Alpha Blending Hypothesis, positing that state-of-the-art frame-based detectors primarily function as alpha blending searchers; rather than learning semantic anomalies or specific generative neural fingerprints, they localize low-level compositing artifacts introduced during the integration of manipulated faces into target frames. We experimentally validate the hypothesis, demonstrating that deepfake detectors exhibit high sensitivity to the so-called self-blended images (SBI) and non-generative manipulations. We propose the method BlenD that leverages a large-scale, diverse dataset of real-only facial images augmented with SBI. This approach achieves the best average cross-dataset generalization on 15 compositional deepfake datasets released between 2019 and 2025 without utilizing explicitly generated deepfakes during training. Furthermore, we show that predictions from explicit blending searchers and models resilient to blending shortcuts are highly complementary, yielding a state-of-the-art AUROC of 94.0% in an ensemble configuration. The code with experiments and the trained model will be publicly released.