DistilDIRE: Een compacte, snelle, kosteneffectieve en lichtgewicht detectiemethode voor door diffusie gesynthetiseerde deepfakes

DistilDIRE: A Small, Fast, Cheap and Lightweight Diffusion Synthesized Deepfake Detection

June 2, 2024

Auteurs: Yewon Lim, Changyeon Lee, Aerin Kim, Oren Etzioni

cs.AI

Samenvatting

Een dramatische toestroom van door diffusie gegenereerde afbeeldingen heeft de afgelopen jaren het veld gemarkeerd, wat unieke uitdagingen oplevert voor huidige detectietechnologieën. Hoewel de taak van het identificeren van deze afbeeldingen onder binaire classificatie valt, een ogenschijnlijk eenvoudige categorie, is de rekenbelasting aanzienlijk bij het gebruik van de "reconstructie en vergelijk"-techniek. Deze aanpak, bekend als DIRE (Diffusion Reconstruction Error), identificeert niet alleen door diffusie gegenereerde afbeeldingen, maar detecteert ook die welke door GANs zijn geproduceerd, wat de brede toepasbaarheid van de techniek benadrukt. Om de rekenuitdagingen aan te pakken en de efficiëntie te verbeteren, stellen we voor om de kennis die in diffusiemodellen is ingebed te destilleren om snelle deepfake-detectiemodellen te ontwikkelen. Onze aanpak, gericht op het creëren van een klein, snel, goedkoop en lichtgewicht diffusie-gegenereerd deepfake-detectiesysteem, behoudt robuuste prestaties terwijl de operationele eisen aanzienlijk worden verminderd. Onze experimentele resultaten tonen aan dat de inferentiesnelheid 3,2 keer sneller is dan het bestaande DIRE-framework. Deze vooruitgang verbetert niet alleen de praktische inzetbaarheid van deze systemen in real-world omgevingen, maar opent ook de weg voor toekomstige onderzoeksinspanningen die de kennis van diffusiemodellen willen benutten.

English

A dramatic influx of diffusion-generated images has marked recent years, posing unique challenges to current detection technologies. While the task of identifying these images falls under binary classification, a seemingly straightforward category, the computational load is significant when employing the "reconstruction then compare" technique. This approach, known as DIRE (Diffusion Reconstruction Error), not only identifies diffusion-generated images but also detects those produced by GANs, highlighting the technique's broad applicability. To address the computational challenges and improve efficiency, we propose distilling the knowledge embedded in diffusion models to develop rapid deepfake detection models. Our approach, aimed at creating a small, fast, cheap, and lightweight diffusion synthesized deepfake detector, maintains robust performance while significantly reducing operational demands. Maintaining performance, our experimental results indicate an inference speed 3.2 times faster than the existing DIRE framework. This advance not only enhances the practicality of deploying these systems in real-world settings but also paves the way for future research endeavors that seek to leverage diffusion model knowledge.