A Hipótese do Alpha Blending: Atalho de Composição na Detecção de Deepfakes

Resumo

Métodos recentes de detecção de deepfakes demonstram melhora na generalização entre conjuntos de dados, mas os mecanismos subjacentes permanecem pouco explorados. Introduzimos a Hipótese de Mesclagem Alfa (Alpha Blending), postulando que detectores baseados em quadros do estado da arte funcionam primariamente como buscadores de mesclagem alfa; em vez de aprender anomalias semânticas ou impressões digitais neurais generativas específicas, eles localizam artefatos de composição de baixo nível introduzidos durante a integração de rostos manipulados nos quadros alvo. Validamos experimentalmente a hipótese, demonstrando que detectores de deepfakes exibem alta sensibilidade às chamadas imagens autofundidas (SBI) e manipulações não generativas. Propomos o método BlenD que utiliza um conjunto de dados diversificado e de grande escala de imagens faciais reais, aumentado com SBI. Essa abordagem alcança a melhor média de generalização entre conjuntos de dados em 15 conjuntos de deepfakes composicionais lançados entre 2019 e 2025, sem utilizar deepfakes gerados explicitamente durante o treinamento. Além disso, mostramos que as previsões de buscadores de mesclagem explícitos e modelos resilientes a atalhos de mesclagem são altamente complementares, resultando em um AUROC de 94,0% no estado da arte em uma configuração de ensemble. O código com experimentos e o modelo treinado serão disponibilizados publicamente.

English

Recent deepfake detection methods demonstrate improved cross-dataset generalization, yet the underlying mechanisms remain underexplored. We introduce the Alpha Blending Hypothesis, positing that state-of-the-art frame-based detectors primarily function as alpha blending searchers; rather than learning semantic anomalies or specific generative neural fingerprints, they localize low-level compositing artifacts introduced during the integration of manipulated faces into target frames. We experimentally validate the hypothesis, demonstrating that deepfake detectors exhibit high sensitivity to the so-called self-blended images (SBI) and non-generative manipulations. We propose the method BlenD that leverages a large-scale, diverse dataset of real-only facial images augmented with SBI. This approach achieves the best average cross-dataset generalization on 15 compositional deepfake datasets released between 2019 and 2025 without utilizing explicitly generated deepfakes during training. Furthermore, we show that predictions from explicit blending searchers and models resilient to blending shortcuts are highly complementary, yielding a state-of-the-art AUROC of 94.0% in an ensemble configuration. The code with experiments and the trained model will be publicly released.