DistilDIRE: Маленькое, быстрое, дешевое и легкое обнаружение глубоких фейков с использованием диффузионного синтеза.

DistilDIRE: A Small, Fast, Cheap and Lightweight Diffusion Synthesized Deepfake Detection

June 2, 2024

Авторы: Yewon Lim, Changyeon Lee, Aerin Kim, Oren Etzioni

cs.AI

Аннотация

Последние годы характеризуются резким всплеском изображений, созданных с использованием диффузии, что представляет уникальные вызовы для существующих технологий обнаружения. Хотя задача идентификации этих изображений относится к бинарной классификации, кажущейся простой категории, вычислительная нагрузка значительна при использовании техники "восстановление, затем сравнение". Этот подход, известный как DIRE (Ошибка реконструкции диффузии), не только идентифицирует изображения, созданные с использованием диффузии, но также обнаруживает те, которые были созданы с помощью GAN, подчеркивая широкие возможности этой техники. Для решения вычислительных проблем и повышения эффективности мы предлагаем извлечение знаний, заложенных в моделях диффузии, для разработки быстрых моделей обнаружения дипфейков. Наш подход, направленный на создание небольшого, быстрого, дешевого и легкого детектора дипфейков, синтезированных с использованием диффузии, сохраняет надежное качество работы, существенно снижая операционные требования. Сохраняя производительность, наши экспериментальные результаты показывают скорость вывода в 3,2 раза выше, чем у существующей структуры DIRE. Этот прогресс не только улучшает практичность развертывания этих систем в реальных условиях, но также укладывает дорогу для будущих исследовательских усилий, направленных на использование знаний модели диффузии.

English

A dramatic influx of diffusion-generated images has marked recent years, posing unique challenges to current detection technologies. While the task of identifying these images falls under binary classification, a seemingly straightforward category, the computational load is significant when employing the "reconstruction then compare" technique. This approach, known as DIRE (Diffusion Reconstruction Error), not only identifies diffusion-generated images but also detects those produced by GANs, highlighting the technique's broad applicability. To address the computational challenges and improve efficiency, we propose distilling the knowledge embedded in diffusion models to develop rapid deepfake detection models. Our approach, aimed at creating a small, fast, cheap, and lightweight diffusion synthesized deepfake detector, maintains robust performance while significantly reducing operational demands. Maintaining performance, our experimental results indicate an inference speed 3.2 times faster than the existing DIRE framework. This advance not only enhances the practicality of deploying these systems in real-world settings but also paves the way for future research endeavors that seek to leverage diffusion model knowledge.