ImagiNet: Un conjunto de datos multi-contenido para la detección de imágenes sintéticas generalizable a través del aprendizaje por contraste.

ImagiNet: A Multi-Content Dataset for Generalizable Synthetic Image Detection via Contrastive Learning

July 29, 2024

Autores: Delyan Boychev, Radostin Cholakov

cs.AI

Resumen

Los modelos generativos, como los modelos de difusión (DMs), los autoencoders variacionales (VAEs) y las redes generativas adversariales (GANs), producen imágenes con un nivel de autenticidad que las hace casi indistinguibles de fotos reales y obras de arte. Aunque esta capacidad es beneficiosa para muchas industrias, la dificultad de identificar imágenes sintéticas deja a las plataformas de medios en línea vulnerables a intentos de suplantación y desinformación. Para apoyar el desarrollo de métodos defensivos, presentamos ImagiNet, un conjunto de datos de alta resolución y equilibrado para la detección de imágenes sintéticas, diseñado para mitigar posibles sesgos en los recursos existentes. Contiene 200K ejemplos, abarcando cuatro categorías de contenido: fotos, pinturas, rostros y no clasificados. Las imágenes sintéticas son generadas con generadores de código abierto y propietarios, mientras que las contrapartes reales del mismo tipo de contenido se recopilan de conjuntos de datos públicos. La estructura de ImagiNet permite un sistema de evaluación de dos vías: i) clasificación como real o sintético y ii) identificación del modelo generativo. Para establecer una línea base, entrenamos un modelo ResNet-50 utilizando un objetivo contrastivo auto-supervisado (SelfCon) para cada vía. El modelo demuestra un rendimiento de vanguardia y una alta velocidad de inferencia en los benchmarks establecidos, logrando un AUC de hasta 0.99 y una precisión equilibrada que oscila entre el 86% y el 95%, incluso bajo condiciones de redes sociales que implican compresión y redimensionamiento. Nuestros datos y código están disponibles en https://github.com/delyan-boychev/imaginet.

English

Generative models, such as diffusion models (DMs), variational autoencoders (VAEs), and generative adversarial networks (GANs), produce images with a level of authenticity that makes them nearly indistinguishable from real photos and artwork. While this capability is beneficial for many industries, the difficulty of identifying synthetic images leaves online media platforms vulnerable to impersonation and misinformation attempts. To support the development of defensive methods, we introduce ImagiNet, a high-resolution and balanced dataset for synthetic image detection, designed to mitigate potential biases in existing resources. It contains 200K examples, spanning four content categories: photos, paintings, faces, and uncategorized. Synthetic images are produced with open-source and proprietary generators, whereas real counterparts of the same content type are collected from public datasets. The structure of ImagiNet allows for a two-track evaluation system: i) classification as real or synthetic and ii) identification of the generative model. To establish a baseline, we train a ResNet-50 model using a self-supervised contrastive objective (SelfCon) for each track. The model demonstrates state-of-the-art performance and high inference speed across established benchmarks, achieving an AUC of up to 0.99 and balanced accuracy ranging from 86% to 95%, even under social network conditions that involve compression and resizing. Our data and code are available at https://github.com/delyan-boychev/imaginet.