ImagiNet: Um Conjunto de Dados Multi-Conteúdo para Detecção de Imagens Sintéticas Generalizáveis via Aprendizado Contrastivo

ImagiNet: A Multi-Content Dataset for Generalizable Synthetic Image Detection via Contrastive Learning

July 29, 2024

Autores: Delyan Boychev, Radostin Cholakov

cs.AI

Resumo

Modelos generativos, como modelos de difusão (DMs), autoencoders variacionais (VAEs) e redes generativas adversariais (GANs), produzem imagens com um nível de autenticidade que as torna quase indistinguíveis de fotos e obras de arte reais. Embora essa capacidade seja benéfica para muitas indústrias, a dificuldade de identificar imagens sintéticas deixa as plataformas de mídia online vulneráveis a tentativas de impersonação e desinformação. Para apoiar o desenvolvimento de métodos defensivos, apresentamos o ImagiNet, um conjunto de dados de alta resolução e equilibrado para detecção de imagens sintéticas, projetado para mitigar possíveis viés em recursos existentes. Ele contém 200 mil exemplos, abrangendo quatro categorias de conteúdo: fotos, pinturas, rostos e não categorizados. As imagens sintéticas são produzidas com geradores de código aberto e proprietários, enquanto os contrapartes reais do mesmo tipo de conteúdo são coletados de conjuntos de dados públicos. A estrutura do ImagiNet permite um sistema de avaliação de duas vias: i) classificação como real ou sintético e ii) identificação do modelo generativo. Para estabelecer uma linha de base, treinamos um modelo ResNet-50 usando um objetivo contrastivo auto-supervisionado (SelfCon) para cada via. O modelo demonstra desempenho de ponta e alta velocidade de inferência em benchmarks estabelecidos, alcançando uma AUC de até 0,99 e uma precisão equilibrada variando de 86% a 95%, mesmo sob condições de redes sociais que envolvem compressão e redimensionamento. Nossos dados e código estão disponíveis em https://github.com/delyan-boychev/imaginet.

English

Generative models, such as diffusion models (DMs), variational autoencoders (VAEs), and generative adversarial networks (GANs), produce images with a level of authenticity that makes them nearly indistinguishable from real photos and artwork. While this capability is beneficial for many industries, the difficulty of identifying synthetic images leaves online media platforms vulnerable to impersonation and misinformation attempts. To support the development of defensive methods, we introduce ImagiNet, a high-resolution and balanced dataset for synthetic image detection, designed to mitigate potential biases in existing resources. It contains 200K examples, spanning four content categories: photos, paintings, faces, and uncategorized. Synthetic images are produced with open-source and proprietary generators, whereas real counterparts of the same content type are collected from public datasets. The structure of ImagiNet allows for a two-track evaluation system: i) classification as real or synthetic and ii) identification of the generative model. To establish a baseline, we train a ResNet-50 model using a self-supervised contrastive objective (SelfCon) for each track. The model demonstrates state-of-the-art performance and high inference speed across established benchmarks, achieving an AUC of up to 0.99 and balanced accuracy ranging from 86% to 95%, even under social network conditions that involve compression and resizing. Our data and code are available at https://github.com/delyan-boychev/imaginet.