DistilDIRE: Un sistema piccolo, veloce, economico e leggero per il rilevamento di deepfake sintetizzati tramite diffusione

DistilDIRE: A Small, Fast, Cheap and Lightweight Diffusion Synthesized Deepfake Detection

June 2, 2024

Autori: Yewon Lim, Changyeon Lee, Aerin Kim, Oren Etzioni

cs.AI

Abstract

Un drammatico afflusso di immagini generate tramite diffusione ha caratterizzato gli ultimi anni, ponendo sfide uniche alle attuali tecnologie di rilevamento. Sebbene il compito di identificare queste immagini rientri nella classificazione binaria, una categoria apparentemente semplice, il carico computazionale è significativo quando si utilizza la tecnica "ricostruzione e confronto". Questo approccio, noto come DIRE (Diffusion Reconstruction Error), non solo identifica le immagini generate tramite diffusione, ma rileva anche quelle prodotte da GAN, evidenziando l'ampia applicabilità della tecnica. Per affrontare le sfide computazionali e migliorare l'efficienza, proponiamo di distillare la conoscenza incorporata nei modelli di diffusione per sviluppare modelli rapidi di rilevamento di deepfake. Il nostro approccio, mirato a creare un rilevatore di deepfake sintetizzati tramite diffusione piccolo, veloce, economico e leggero, mantiene prestazioni robuste riducendo significativamente le esigenze operative. Mantenendo le prestazioni, i nostri risultati sperimentali indicano una velocità di inferenza 3,2 volte superiore rispetto all'attuale framework DIRE. Questo progresso non solo migliora la praticità di implementare questi sistemi in contesti reali, ma apre anche la strada a future ricerche che cercano di sfruttare la conoscenza dei modelli di diffusione.

English

A dramatic influx of diffusion-generated images has marked recent years, posing unique challenges to current detection technologies. While the task of identifying these images falls under binary classification, a seemingly straightforward category, the computational load is significant when employing the "reconstruction then compare" technique. This approach, known as DIRE (Diffusion Reconstruction Error), not only identifies diffusion-generated images but also detects those produced by GANs, highlighting the technique's broad applicability. To address the computational challenges and improve efficiency, we propose distilling the knowledge embedded in diffusion models to develop rapid deepfake detection models. Our approach, aimed at creating a small, fast, cheap, and lightweight diffusion synthesized deepfake detector, maintains robust performance while significantly reducing operational demands. Maintaining performance, our experimental results indicate an inference speed 3.2 times faster than the existing DIRE framework. This advance not only enhances the practicality of deploying these systems in real-world settings but also paves the way for future research endeavors that seek to leverage diffusion model knowledge.