ImagiNet : Un ensemble de données multi-contenus pour la détection généralisable d'images synthétiques via l'apprentissage contrastif

ImagiNet: A Multi-Content Dataset for Generalizable Synthetic Image Detection via Contrastive Learning

July 29, 2024

Auteurs: Delyan Boychev, Radostin Cholakov

cs.AI

Résumé

Les modèles génératifs, tels que les modèles de diffusion (DMs), les autoencodeurs variationnels (VAEs) et les réseaux antagonistes génératifs (GANs), produisent des images d'un niveau de réalisme qui les rend presque indiscernables des photos et œuvres d'art réelles. Bien que cette capacité soit bénéfique pour de nombreuses industries, la difficulté à identifier les images synthétiques expose les plateformes de médias en ligne à des tentatives d'usurpation et de désinformation. Pour soutenir le développement de méthodes défensives, nous présentons ImagiNet, un jeu de données haute résolution et équilibré pour la détection d'images synthétiques, conçu pour atténuer les biais potentiels des ressources existantes. Il contient 200 000 exemples, répartis en quatre catégories de contenu : photos, peintures, visages et non catégorisés. Les images synthétiques sont produites à l'aide de générateurs open-source et propriétaires, tandis que les images réelles correspondantes sont collectées à partir de jeux de données publics. La structure d'ImagiNet permet un système d'évaluation à deux volets : i) classification en tant que réel ou synthétique et ii) identification du modèle génératif. Pour établir une référence, nous entraînons un modèle ResNet-50 en utilisant un objectif contrastif auto-supervisé (SelfCon) pour chaque volet. Le modèle démontre des performances de pointe et une vitesse d'inférence élevée sur des benchmarks établis, atteignant une AUC allant jusqu'à 0,99 et une précision équilibrée comprise entre 86 % et 95 %, même dans des conditions de réseaux sociaux impliquant compression et redimensionnement. Nos données et code sont disponibles à l'adresse https://github.com/delyan-boychev/imaginet.

English

Generative models, such as diffusion models (DMs), variational autoencoders (VAEs), and generative adversarial networks (GANs), produce images with a level of authenticity that makes them nearly indistinguishable from real photos and artwork. While this capability is beneficial for many industries, the difficulty of identifying synthetic images leaves online media platforms vulnerable to impersonation and misinformation attempts. To support the development of defensive methods, we introduce ImagiNet, a high-resolution and balanced dataset for synthetic image detection, designed to mitigate potential biases in existing resources. It contains 200K examples, spanning four content categories: photos, paintings, faces, and uncategorized. Synthetic images are produced with open-source and proprietary generators, whereas real counterparts of the same content type are collected from public datasets. The structure of ImagiNet allows for a two-track evaluation system: i) classification as real or synthetic and ii) identification of the generative model. To establish a baseline, we train a ResNet-50 model using a self-supervised contrastive objective (SelfCon) for each track. The model demonstrates state-of-the-art performance and high inference speed across established benchmarks, achieving an AUC of up to 0.99 and balanced accuracy ranging from 86% to 95%, even under social network conditions that involve compression and resizing. Our data and code are available at https://github.com/delyan-boychev/imaginet.