DistilDIRE: Eine kleine, schnelle, kostengünstige und leichte Deepfake-Erkennung mittels Diffusionssynthese.

DistilDIRE: A Small, Fast, Cheap and Lightweight Diffusion Synthesized Deepfake Detection

June 2, 2024

Autoren: Yewon Lim, Changyeon Lee, Aerin Kim, Oren Etzioni

cs.AI

Zusammenfassung

Ein dramatischer Zustrom von durch Diffusion erzeugten Bildern hat die letzten Jahre geprägt und stellt aktuelle Erkennungstechnologien vor einzigartige Herausforderungen. Obwohl die Aufgabe, diese Bilder zu identifizieren, unter binäre Klassifizierung fällt, eine scheinbar unkomplizierte Kategorie, ist die Rechenlast signifikant, wenn die Technik "Rekonstruktion und Vergleich" angewendet wird. Dieser Ansatz, bekannt als DIRE (Diffusion Reconstruction Error), identifiziert nicht nur durch Diffusion erzeugte Bilder, sondern erkennt auch solche, die von GANs produziert wurden, was die breite Anwendbarkeit der Technik hervorhebt. Um die Rechenherausforderungen anzugehen und die Effizienz zu verbessern, schlagen wir vor, das in Diffusionsmodellen eingebettete Wissen zu destillieren, um schnelle Deepfake-Erkennungsmodelle zu entwickeln. Unser Ansatz zielt darauf ab, einen kleinen, schnellen, kostengünstigen und leichten Deepfake-Detektor auf Diffusionsbasis zu schaffen, der eine robuste Leistung beibehält und gleichzeitig die betrieblichen Anforderungen erheblich reduziert. Unsere experimentellen Ergebnisse zeigen eine Inferenzgeschwindigkeit, die 3,2-mal schneller ist als das bestehende DIRE-Framework, während die Leistung beibehalten wird. Dieser Fortschritt verbessert nicht nur die Praktikabilität der Bereitstellung dieser Systeme in realen Umgebungen, sondern ebnet auch den Weg für zukünftige Forschungsvorhaben, die darauf abzielen, das Wissen über Diffusionsmodelle zu nutzen.

English

A dramatic influx of diffusion-generated images has marked recent years, posing unique challenges to current detection technologies. While the task of identifying these images falls under binary classification, a seemingly straightforward category, the computational load is significant when employing the "reconstruction then compare" technique. This approach, known as DIRE (Diffusion Reconstruction Error), not only identifies diffusion-generated images but also detects those produced by GANs, highlighting the technique's broad applicability. To address the computational challenges and improve efficiency, we propose distilling the knowledge embedded in diffusion models to develop rapid deepfake detection models. Our approach, aimed at creating a small, fast, cheap, and lightweight diffusion synthesized deepfake detector, maintains robust performance while significantly reducing operational demands. Maintaining performance, our experimental results indicate an inference speed 3.2 times faster than the existing DIRE framework. This advance not only enhances the practicality of deploying these systems in real-world settings but also paves the way for future research endeavors that seek to leverage diffusion model knowledge.