DistilDIRE: Una Detección de Deepfakes Sintetizados por Difusión Pequeña, Rápida, Económica y Liviana

DistilDIRE: A Small, Fast, Cheap and Lightweight Diffusion Synthesized Deepfake Detection

June 2, 2024

Autores: Yewon Lim, Changyeon Lee, Aerin Kim, Oren Etzioni

cs.AI

Resumen

Un dramático aumento de imágenes generadas por difusión ha marcado los últimos años, planteando desafíos únicos a las tecnologías actuales de detección. Si bien la tarea de identificar estas imágenes se clasifica como una clasificación binaria, una categoría aparentemente sencilla, la carga computacional es significativa al emplear la técnica de "reconstrucción y comparación". Este enfoque, conocido como DIRE (Error de Reconstrucción por Difusión), no solo identifica imágenes generadas por difusión, sino que también detecta aquellas producidas por GANs, resaltando la amplia aplicabilidad de la técnica. Para abordar los desafíos computacionales y mejorar la eficiencia, proponemos destilar el conocimiento incrustado en los modelos de difusión para desarrollar modelos rápidos de detección de deepfakes. Nuestro enfoque, dirigido a crear un detector de deepfakes sintetizados por difusión pequeño, rápido, económico y ligero, mantiene un rendimiento sólido mientras reduce significativamente las demandas operativas. Manteniendo el rendimiento, nuestros resultados experimentales indican una velocidad de inferencia 3.2 veces más rápida que el marco DIRE existente. Este avance no solo mejora la practicidad de implementar estos sistemas en entornos del mundo real, sino que también allana el camino para futuros esfuerzos de investigación que buscan aprovechar el conocimiento de los modelos de difusión.

English

A dramatic influx of diffusion-generated images has marked recent years, posing unique challenges to current detection technologies. While the task of identifying these images falls under binary classification, a seemingly straightforward category, the computational load is significant when employing the "reconstruction then compare" technique. This approach, known as DIRE (Diffusion Reconstruction Error), not only identifies diffusion-generated images but also detects those produced by GANs, highlighting the technique's broad applicability. To address the computational challenges and improve efficiency, we propose distilling the knowledge embedded in diffusion models to develop rapid deepfake detection models. Our approach, aimed at creating a small, fast, cheap, and lightweight diffusion synthesized deepfake detector, maintains robust performance while significantly reducing operational demands. Maintaining performance, our experimental results indicate an inference speed 3.2 times faster than the existing DIRE framework. This advance not only enhances the practicality of deploying these systems in real-world settings but also paves the way for future research endeavors that seek to leverage diffusion model knowledge.