DistilDIRE: 소형, 고속, 저비용 및 경량의 확산 합성 딥페이크 탐지

DistilDIRE: A Small, Fast, Cheap and Lightweight Diffusion Synthesized Deepfake Detection

June 2, 2024

저자: Yewon Lim, Changyeon Lee, Aerin Kim, Oren Etzioni

cs.AI

초록

최근 몇 년간 확산 모델로 생성된 이미지가 급증하면서, 현재의 탐지 기술에 독특한 도전 과제를 제시하고 있습니다. 이러한 이미지를 식별하는 작업은 이진 분류라는 겉보기에는 단순한 범주에 속하지만, "재구성 후 비교" 기법을 사용할 경우 계산 부담이 상당합니다. 이 접근법은 DIRE(Diffusion Reconstruction Error)로 알려져 있으며, 확산 모델로 생성된 이미지를 식별할 뿐만 아니라 GAN으로 생성된 이미지도 탐지하여 이 기술의 광범위한 적용 가능성을 보여줍니다. 이러한 계산적 어려움을 해결하고 효율성을 개선하기 위해, 우리는 확산 모델에 내재된 지식을 추출하여 빠른 딥페이크 탐지 모델을 개발하는 방법을 제안합니다. 우리의 접근법은 작고 빠르며 저렴하고 가벼운 확산 합성 딥페이크 탐지기를 만드는 것을 목표로 하며, 강력한 성능을 유지하면서 운영 요구 사항을 크게 줄입니다. 실험 결과에 따르면, 우리의 방법은 기존 DIRE 프레임워크보다 추론 속도가 3.2배 빠른 것으로 나타났습니다. 이러한 발전은 이러한 시스템을 실제 환경에 배치하는 실용성을 높일 뿐만 아니라, 확산 모델 지식을 활용하려는 미래 연구 노력의 길을 열어줍니다.

English

A dramatic influx of diffusion-generated images has marked recent years, posing unique challenges to current detection technologies. While the task of identifying these images falls under binary classification, a seemingly straightforward category, the computational load is significant when employing the "reconstruction then compare" technique. This approach, known as DIRE (Diffusion Reconstruction Error), not only identifies diffusion-generated images but also detects those produced by GANs, highlighting the technique's broad applicability. To address the computational challenges and improve efficiency, we propose distilling the knowledge embedded in diffusion models to develop rapid deepfake detection models. Our approach, aimed at creating a small, fast, cheap, and lightweight diffusion synthesized deepfake detector, maintains robust performance while significantly reducing operational demands. Maintaining performance, our experimental results indicate an inference speed 3.2 times faster than the existing DIRE framework. This advance not only enhances the practicality of deploying these systems in real-world settings but also paves the way for future research endeavors that seek to leverage diffusion model knowledge.