ImagiNet: Un Dataset Multi-Contenuto per il Rilevamento Generalizzabile di Immagini Sintetiche tramite Apprendimento Contrastivo

ImagiNet: A Multi-Content Dataset for Generalizable Synthetic Image Detection via Contrastive Learning

July 29, 2024

Autori: Delyan Boychev, Radostin Cholakov

cs.AI

Abstract

I modelli generativi, come i modelli di diffusione (DMs), gli autoencoder variazionali (VAEs) e le reti generative avversarie (GANs), producono immagini con un livello di autenticità tale da renderle quasi indistinguibili da fotografie e opere d'arte reali. Sebbene questa capacità sia vantaggiosa per molti settori, la difficoltà di identificare immagini sintetiche rende le piattaforme di media online vulnerabili a tentativi di impersonificazione e disinformazione. Per supportare lo sviluppo di metodi difensivi, introduciamo ImagiNet, un dataset ad alta risoluzione e bilanciato per il rilevamento di immagini sintetiche, progettato per mitigare potenziali distorsioni presenti nelle risorse esistenti. Esso contiene 200K esempi, suddivisi in quattro categorie di contenuto: fotografie, dipinti, volti e non categorizzati. Le immagini sintetiche sono prodotte con generatori open-source e proprietari, mentre le controparti reali dello stesso tipo di contenuto sono raccolte da dataset pubblici. La struttura di ImagiNet consente un sistema di valutazione a due tracce: i) classificazione come reale o sintetica e ii) identificazione del modello generativo. Per stabilire una baseline, addestriamo un modello ResNet-50 utilizzando un obiettivo contrastivo auto-supervisionato (SelfCon) per ciascuna traccia. Il modello dimostra prestazioni all'avanguardia e un'elevata velocità di inferenza su benchmark consolidati, raggiungendo un AUC fino a 0.99 e un'accuratezza bilanciata compresa tra l'86% e il 95%, anche in condizioni di social network che comportano compressione e ridimensionamento. I nostri dati e il codice sono disponibili all'indirizzo https://github.com/delyan-boychev/imaginet.

English

Generative models, such as diffusion models (DMs), variational autoencoders (VAEs), and generative adversarial networks (GANs), produce images with a level of authenticity that makes them nearly indistinguishable from real photos and artwork. While this capability is beneficial for many industries, the difficulty of identifying synthetic images leaves online media platforms vulnerable to impersonation and misinformation attempts. To support the development of defensive methods, we introduce ImagiNet, a high-resolution and balanced dataset for synthetic image detection, designed to mitigate potential biases in existing resources. It contains 200K examples, spanning four content categories: photos, paintings, faces, and uncategorized. Synthetic images are produced with open-source and proprietary generators, whereas real counterparts of the same content type are collected from public datasets. The structure of ImagiNet allows for a two-track evaluation system: i) classification as real or synthetic and ii) identification of the generative model. To establish a baseline, we train a ResNet-50 model using a self-supervised contrastive objective (SelfCon) for each track. The model demonstrates state-of-the-art performance and high inference speed across established benchmarks, achieving an AUC of up to 0.99 and balanced accuracy ranging from 86% to 95%, even under social network conditions that involve compression and resizing. Our data and code are available at https://github.com/delyan-boychev/imaginet.