DistilDIRE : Une détection de deepfakes synthétisés par diffusion, petite, rapide, économique et légère

DistilDIRE: A Small, Fast, Cheap and Lightweight Diffusion Synthesized Deepfake Detection

June 2, 2024

Auteurs: Yewon Lim, Changyeon Lee, Aerin Kim, Oren Etzioni

cs.AI

Résumé

Une augmentation spectaculaire d'images générées par diffusion a marqué ces dernières années, posant des défis uniques aux technologies de détection actuelles. Bien que la tâche d'identification de ces images relève de la classification binaire, une catégorie en apparence simple, la charge computationnelle est significative lorsqu'on utilise la technique de "reconstruction puis comparaison". Cette approche, connue sous le nom de DIRE (Diffusion Reconstruction Error), identifie non seulement les images générées par diffusion, mais détecte également celles produites par les GAN, soulignant l'applicabilité étendue de cette technique. Pour répondre aux défis computationnels et améliorer l'efficacité, nous proposons de distiller les connaissances intégrées dans les modèles de diffusion afin de développer des modèles de détection de deepfakes rapides. Notre approche, visant à créer un détecteur de deepfakes synthétisés par diffusion petit, rapide, économique et léger, maintient des performances robustes tout en réduisant considérablement les exigences opérationnelles. Tout en conservant les performances, nos résultats expérimentaux indiquent une vitesse d'inférence 3,2 fois plus rapide que le cadre DIRE existant. Cette avancée améliore non seulement la praticité du déploiement de ces systèmes dans des environnements réels, mais ouvre également la voie à de futures recherches visant à exploiter les connaissances des modèles de diffusion.

English

A dramatic influx of diffusion-generated images has marked recent years, posing unique challenges to current detection technologies. While the task of identifying these images falls under binary classification, a seemingly straightforward category, the computational load is significant when employing the "reconstruction then compare" technique. This approach, known as DIRE (Diffusion Reconstruction Error), not only identifies diffusion-generated images but also detects those produced by GANs, highlighting the technique's broad applicability. To address the computational challenges and improve efficiency, we propose distilling the knowledge embedded in diffusion models to develop rapid deepfake detection models. Our approach, aimed at creating a small, fast, cheap, and lightweight diffusion synthesized deepfake detector, maintains robust performance while significantly reducing operational demands. Maintaining performance, our experimental results indicate an inference speed 3.2 times faster than the existing DIRE framework. This advance not only enhances the practicality of deploying these systems in real-world settings but also paves the way for future research endeavors that seek to leverage diffusion model knowledge.