DistilDIRE: Uma Detecção de Deepfakes Sintetizados por Difusão Pequena, Rápida, Barata e Leve.

DistilDIRE: A Small, Fast, Cheap and Lightweight Diffusion Synthesized Deepfake Detection

June 2, 2024

Autores: Yewon Lim, Changyeon Lee, Aerin Kim, Oren Etzioni

cs.AI

Resumo

Um influxo dramático de imagens geradas por difusão marcou os últimos anos, apresentando desafios únicos para as tecnologias de detecção atuais. Embora a tarefa de identificar essas imagens se enquadre na classificação binária, uma categoria aparentemente simples, a carga computacional é significativa ao empregar a técnica "reconstruir e comparar". Esta abordagem, conhecida como DIRE (Erro de Reconstrução de Difusão), não apenas identifica imagens geradas por difusão, mas também detecta aquelas produzidas por GANs, destacando a ampla aplicabilidade da técnica. Para lidar com os desafios computacionais e melhorar a eficiência, propomos destilar o conhecimento incorporado em modelos de difusão para desenvolver modelos rápidos de detecção de deepfakes. Nossa abordagem, voltada para a criação de um detector de deepfakes sintetizado por difusão pequeno, rápido, barato e leve, mantém um desempenho robusto enquanto reduz significativamente as demandas operacionais. Mantendo o desempenho, nossos resultados experimentais indicam uma velocidade de inferência 3,2 vezes mais rápida do que o framework DIRE existente. Este avanço não apenas aprimora a praticidade de implantar esses sistemas em ambientes do mundo real, mas também abre caminho para empreendimentos futuros de pesquisa que buscam aproveitar o conhecimento do modelo de difusão.

English

A dramatic influx of diffusion-generated images has marked recent years, posing unique challenges to current detection technologies. While the task of identifying these images falls under binary classification, a seemingly straightforward category, the computational load is significant when employing the "reconstruction then compare" technique. This approach, known as DIRE (Diffusion Reconstruction Error), not only identifies diffusion-generated images but also detects those produced by GANs, highlighting the technique's broad applicability. To address the computational challenges and improve efficiency, we propose distilling the knowledge embedded in diffusion models to develop rapid deepfake detection models. Our approach, aimed at creating a small, fast, cheap, and lightweight diffusion synthesized deepfake detector, maintains robust performance while significantly reducing operational demands. Maintaining performance, our experimental results indicate an inference speed 3.2 times faster than the existing DIRE framework. This advance not only enhances the practicality of deploying these systems in real-world settings but also paves the way for future research endeavors that seek to leverage diffusion model knowledge.