ImagiNet: Ein Multi-Content-Datensatz für generalisierbare synthetische Bilderkennung mittels kontrastivem Lernen

ImagiNet: A Multi-Content Dataset for Generalizable Synthetic Image Detection via Contrastive Learning

July 29, 2024

Autoren: Delyan Boychev, Radostin Cholakov

cs.AI

Zusammenfassung

Generative Modelle wie Diffusionsmodelle (DMs), Variational Autoencoder (VAEs) und Generative Adversarial Networks (GANs) erzeugen Bilder mit einem Grad an Authentizität, der sie nahezu von echten Fotos und Kunstwerken unterscheidet. Obwohl diese Fähigkeit für viele Branchen vorteilhaft ist, macht die Schwierigkeit, synthetische Bilder zu identifizieren, Online-Medienplattformen anfällig für Identitätsdiebstahl und Desinformationsversuche. Um die Entwicklung von Abwehrmethoden zu unterstützen, stellen wir ImagiNet vor, einen Datensatz für die Erkennung synthetischer Bilder mit hoher Auflösung und Ausgewogenheit, der darauf abzielt, potenzielle Vorurteile in bestehenden Ressourcen zu minimieren. Er umfasst 200.000 Beispiele aus vier Inhaltkategorien: Fotos, Gemälde, Gesichter und nicht kategorisiert. Synthetische Bilder werden mit Open-Source- und proprietären Generatoren erzeugt, während echte Gegenstücke derselben Inhaltstypen aus öffentlichen Datensätzen gesammelt werden. Die Struktur von ImagiNet ermöglicht ein Zwei-Spur-Bewertungssystem: i) Klassifizierung als echt oder synthetisch und ii) Identifizierung des generativen Modells. Um eine Basislinie zu etablieren, trainieren wir ein ResNet-50-Modell unter Verwendung eines selbstüberwachten kontrastiven Ziels (SelfCon) für jede Spur. Das Modell zeigt eine Leistung auf dem neuesten Stand der Technik und hohe Inferenzgeschwindigkeit über etablierte Benchmarks hinweg, erreicht eine AUC von bis zu 0,99 und eine ausgewogene Genauigkeit von 86% bis 95%, selbst unter Bedingungen sozialer Netzwerke, die Komprimierung und Größenänderung beinhalten. Unsere Daten und der Code sind unter https://github.com/delyan-boychev/imaginet verfügbar.

English

Generative models, such as diffusion models (DMs), variational autoencoders (VAEs), and generative adversarial networks (GANs), produce images with a level of authenticity that makes them nearly indistinguishable from real photos and artwork. While this capability is beneficial for many industries, the difficulty of identifying synthetic images leaves online media platforms vulnerable to impersonation and misinformation attempts. To support the development of defensive methods, we introduce ImagiNet, a high-resolution and balanced dataset for synthetic image detection, designed to mitigate potential biases in existing resources. It contains 200K examples, spanning four content categories: photos, paintings, faces, and uncategorized. Synthetic images are produced with open-source and proprietary generators, whereas real counterparts of the same content type are collected from public datasets. The structure of ImagiNet allows for a two-track evaluation system: i) classification as real or synthetic and ii) identification of the generative model. To establish a baseline, we train a ResNet-50 model using a self-supervised contrastive objective (SelfCon) for each track. The model demonstrates state-of-the-art performance and high inference speed across established benchmarks, achieving an AUC of up to 0.99 and balanced accuracy ranging from 86% to 95%, even under social network conditions that involve compression and resizing. Our data and code are available at https://github.com/delyan-boychev/imaginet.