ImagiNet: Многоконтентный набор данных для обобщенного синтетического обнаружения изображений с помощью контрастного обучения

ImagiNet: A Multi-Content Dataset for Generalizable Synthetic Image Detection via Contrastive Learning

July 29, 2024

Авторы: Delyan Boychev, Radostin Cholakov

cs.AI

Аннотация

Генеративные модели, такие как модели диффузии (DM), вариационные автокодировщики (VAE) и генеративно-состязательные сети (GAN), создают изображения с уровнем подлинности, делающим их практически неотличимыми от реальных фотографий и произведений искусства. Хотя эта способность полезна для многих отраслей, сложность идентификации синтетических изображений делает онлайн-платформы уязвимыми к попыткам подделки и распространения дезинформации. Для поддержки разработки методов защиты мы представляем ImagiNet - набор данных высокого разрешения и сбалансированный для обнаружения синтетических изображений, разработанный для смягчения потенциальных предвзятостей в существующих ресурсах. Он содержит 200 тыс. примеров, охватывающих четыре категории контента: фотографии, картины, лица и неопределенное. Синтетические изображения создаются с использованием генераторов с открытым и закрытым исходным кодом, в то время как реальные аналоги того же типа контента собираются из общедоступных наборов данных. Структура ImagiNet позволяет использовать двухдорожечную систему оценки: i) классификацию как реальное или синтетическое и ii) идентификацию генеративной модели. Для установления базового уровня мы обучаем модель ResNet-50 с использованием самообучающейся контрастной цели (SelfCon) для каждой дорожки. Модель демонстрирует современные показатели производительности и высокую скорость вывода по установленным бенчмаркам, достигая AUC до 0,99 и сбалансированную точность в диапазоне от 86% до 95%, даже в условиях социальных сетей, включающих сжатие и изменение размера. Наши данные и код доступны по адресу https://github.com/delyan-boychev/imaginet.

English

Generative models, such as diffusion models (DMs), variational autoencoders (VAEs), and generative adversarial networks (GANs), produce images with a level of authenticity that makes them nearly indistinguishable from real photos and artwork. While this capability is beneficial for many industries, the difficulty of identifying synthetic images leaves online media platforms vulnerable to impersonation and misinformation attempts. To support the development of defensive methods, we introduce ImagiNet, a high-resolution and balanced dataset for synthetic image detection, designed to mitigate potential biases in existing resources. It contains 200K examples, spanning four content categories: photos, paintings, faces, and uncategorized. Synthetic images are produced with open-source and proprietary generators, whereas real counterparts of the same content type are collected from public datasets. The structure of ImagiNet allows for a two-track evaluation system: i) classification as real or synthetic and ii) identification of the generative model. To establish a baseline, we train a ResNet-50 model using a self-supervised contrastive objective (SelfCon) for each track. The model demonstrates state-of-the-art performance and high inference speed across established benchmarks, achieving an AUC of up to 0.99 and balanced accuracy ranging from 86% to 95%, even under social network conditions that involve compression and resizing. Our data and code are available at https://github.com/delyan-boychev/imaginet.