ImagiNet: コントラスティブ学習による汎用的な合成画像検出のためのマルチコンテンツデータセット

ImagiNet: A Multi-Content Dataset for Generalizable Synthetic Image Detection via Contrastive Learning

July 29, 2024

著者: Delyan Boychev, Radostin Cholakov

cs.AI

要旨

拡散モデル（DMs）、変分自己符号化器（VAEs）、生成的敵対ネットワーク（GANs）などの生成モデルは、本物の写真や芸術作品とほとんど見分けがつかないほどのリアリティを持つ画像を生成します。この能力は多くの産業にとって有益ですが、合成画像を識別する難しさにより、オンラインメディアプラットフォームはなりすましや誤情報の試みに対して脆弱になっています。防御手法の開発を支援するため、既存のリソースにおける潜在的なバイアスを軽減するために設計された、高解像度でバランスの取れた合成画像検出用データセット「ImagiNet」を紹介します。ImagiNetは20万の例を含み、写真、絵画、顔、未分類の4つのコンテンツカテゴリにまたがっています。合成画像はオープンソースおよびプロプライエタリな生成器で生成され、同じコンテンツタイプの本物の画像は公開データセットから収集されています。ImagiNetの構造により、二つの評価システムが可能です：i) 本物または合成の分類、ii) 生成モデルの識別。ベースラインを確立するため、各トラックに対して自己教師ありコントラスティブ目的関数（SelfCon）を使用してResNet-50モデルを学習させました。このモデルは、確立されたベンチマークにおいて最先端の性能と高い推論速度を示し、AUCが最大0.99、バランス精度が86%から95%の範囲を達成しました。これは、圧縮やリサイズを含むソーシャルネットワークの条件下でも同様です。データとコードはhttps://github.com/delyan-boychev/imaginetで公開されています。

English

Generative models, such as diffusion models (DMs), variational autoencoders (VAEs), and generative adversarial networks (GANs), produce images with a level of authenticity that makes them nearly indistinguishable from real photos and artwork. While this capability is beneficial for many industries, the difficulty of identifying synthetic images leaves online media platforms vulnerable to impersonation and misinformation attempts. To support the development of defensive methods, we introduce ImagiNet, a high-resolution and balanced dataset for synthetic image detection, designed to mitigate potential biases in existing resources. It contains 200K examples, spanning four content categories: photos, paintings, faces, and uncategorized. Synthetic images are produced with open-source and proprietary generators, whereas real counterparts of the same content type are collected from public datasets. The structure of ImagiNet allows for a two-track evaluation system: i) classification as real or synthetic and ii) identification of the generative model. To establish a baseline, we train a ResNet-50 model using a self-supervised contrastive objective (SelfCon) for each track. The model demonstrates state-of-the-art performance and high inference speed across established benchmarks, achieving an AUC of up to 0.99 and balanced accuracy ranging from 86% to 95%, even under social network conditions that involve compression and resizing. Our data and code are available at https://github.com/delyan-boychev/imaginet.