Законы масштабирования для обнаружения дипфейков

Аннотация

В данной работе представлено систематическое исследование законов масштабирования для задачи обнаружения дипфейков. В частности, мы анализируем зависимость производительности модели от количества доменов с реальными изображениями, методов генерации дипфейков и объемов тренировочных данных. Поскольку ни один существующий набор данных не соответствует требованиям по масштабу для данного исследования, мы создали ScaleDF — крупнейший на сегодняшний день набор данных в этой области, содержащий более 5,8 миллионов реальных изображений из 51 набора данных (доменов) и свыше 8,8 миллионов фальшивых изображений, сгенерированных 102 методами создания дипфейков. Используя ScaleDF, мы наблюдаем степенную зависимость масштабирования, аналогичную той, что демонстрируют большие языковые модели (LLM). А именно, средняя ошибка обнаружения закономерно уменьшается по степенному закону с ростом как количества реальных доменов, так и количества методов генерации дипфейков. Это ключевое наблюдение не только позволяет прогнозировать количество дополнительных реальных доменов или методов генерации, необходимых для достижения целевых показателей производительности, но и вдохновляет на борьбу с развивающимися технологиями дипфейков с помощью центрированного на данных подхода. Кроме того, мы исследуем роль предварительного обучения и аугментации данных в обнаружении дипфейков при масштабировании, а также ограничения самого масштабирования.

English

This paper presents a systematic study of scaling laws for the deepfake detection task. Specifically, we analyze the model performance against the number of real image domains, deepfake generation methods, and training images. Since no existing dataset meets the scale requirements for this research, we construct ScaleDF, the largest dataset to date in this field, which contains over 5.8 million real images from 51 different datasets (domains) and more than 8.8 million fake images generated by 102 deepfake methods. Using ScaleDF, we observe power-law scaling similar to that shown in large language models (LLMs). Specifically, the average detection error follows a predictable power-law decay as either the number of real domains or the number of deepfake methods increases. This key observation not only allows us to forecast the number of additional real domains or deepfake methods required to reach a target performance, but also inspires us to counter the evolving deepfake technology in a data-centric manner. Beyond this, we examine the role of pre-training and data augmentations in deepfake detection under scaling, as well as the limitations of scaling itself.

Законы масштабирования для обнаружения дипфейков

Scaling Laws for Deepfake Detection

Аннотация

Support