ImagiNet: Een dataset met meerdere inhoudstypen voor detectie van synthetische afbeeldingen via contrastief leren met generaliseerbaarheid

ImagiNet: A Multi-Content Dataset for Generalizable Synthetic Image Detection via Contrastive Learning

July 29, 2024

Auteurs: Delyan Boychev, Radostin Cholakov

cs.AI

Samenvatting

Generatieve modellen, zoals diffusiemodellen (DMs), variational autoencoders (VAEs) en generatieve adversariële netwerken (GANs), produceren afbeeldingen met een mate van authenticiteit die ze bijna niet te onderscheiden maakt van echte foto's en kunstwerken. Hoewel deze mogelijkheid gunstig is voor veel industrieën, maakt de moeilijkheid om synthetische afbeeldingen te identificeren online mediaplatforms kwetsbaar voor impersonatie en desinformatiepogingen. Om de ontwikkeling van defensieve methoden te ondersteunen, introduceren we ImagiNet, een hoogwaardige en gebalanceerde dataset voor de detectie van synthetische afbeeldingen, ontworpen om mogelijke vooroordelen in bestaande bronnen te verminderen. Het bevat 200K voorbeelden, verdeeld over vier inhoudscategorieën: foto's, schilderijen, gezichten en ongecategoriseerd. Synthetische afbeeldingen worden geproduceerd met open-source en propriëtaire generatoren, terwijl echte tegenhangers van hetzelfde inhoudstype worden verzameld uit publieke datasets. De structuur van ImagiNet maakt een tweesporens evaluatiesysteem mogelijk: i) classificatie als echt of synthetisch en ii) identificatie van het generatieve model. Om een basislijn vast te stellen, trainen we een ResNet-50 model met een zelfgesuperviseerd contrastief doel (SelfCon) voor elke spoor. Het model toont state-of-the-art prestaties en hoge inferentiesnelheid op gevestigde benchmarks, met een AUC van maximaal 0.99 en een gebalanceerde nauwkeurigheid variërend van 86% tot 95%, zelfs onder sociale netwerkomstandigheden die compressie en herschaling omvatten. Onze data en code zijn beschikbaar op https://github.com/delyan-boychev/imaginet.

English

Generative models, such as diffusion models (DMs), variational autoencoders (VAEs), and generative adversarial networks (GANs), produce images with a level of authenticity that makes them nearly indistinguishable from real photos and artwork. While this capability is beneficial for many industries, the difficulty of identifying synthetic images leaves online media platforms vulnerable to impersonation and misinformation attempts. To support the development of defensive methods, we introduce ImagiNet, a high-resolution and balanced dataset for synthetic image detection, designed to mitigate potential biases in existing resources. It contains 200K examples, spanning four content categories: photos, paintings, faces, and uncategorized. Synthetic images are produced with open-source and proprietary generators, whereas real counterparts of the same content type are collected from public datasets. The structure of ImagiNet allows for a two-track evaluation system: i) classification as real or synthetic and ii) identification of the generative model. To establish a baseline, we train a ResNet-50 model using a self-supervised contrastive objective (SelfCon) for each track. The model demonstrates state-of-the-art performance and high inference speed across established benchmarks, achieving an AUC of up to 0.99 and balanced accuracy ranging from 86% to 95%, even under social network conditions that involve compression and resizing. Our data and code are available at https://github.com/delyan-boychev/imaginet.