ImagiNet: 대조 학습을 통한 일반화 가능한 합성 이미지 탐지를 위한 다중 콘텐츠 데이터셋

ImagiNet: A Multi-Content Dataset for Generalizable Synthetic Image Detection via Contrastive Learning

July 29, 2024

저자: Delyan Boychev, Radostin Cholakov

cs.AI

초록

디퓨전 모델(DMs), 변이형 오토인코더(VAEs), 생성적 적대 신경망(GANs)과 같은 생성 모델은 실제 사진 및 예술 작품과 거의 구별할 수 없을 정도로 진실성 있는 이미지를 생성합니다. 이러한 능력은 많은 산업에 유용하지만, 합성 이미지를 식별하기 어렵다는 점은 온라인 미디어 플랫폼이 사칭 및 허위 정보 시도에 취약하게 만듭니다. 방어적 방법의 개발을 지원하기 위해, 우리는 기존 자료의 잠재적 편향을 완화하도록 설계된 고해상도 및 균형 잡힌 합성 이미지 탐지 데이터셋인 ImagiNet을 소개합니다. 이 데이터셋은 사진, 그림, 얼굴, 그리고 미분류 등 네 가지 콘텐츠 카테고리에 걸쳐 20만 개의 예시를 포함합니다. 합성 이미지는 오픈소스 및 독점 생성기를 사용하여 제작되었으며, 동일한 콘텐츠 유형의 실제 이미지는 공개 데이터셋에서 수집되었습니다. ImagiNet의 구조는 두 가지 평가 시스템을 가능하게 합니다: i) 실제 또는 합성으로 분류, ii) 생성 모델 식별. 기준을 설정하기 위해, 우리는 각 트랙에 대해 자기 지도 대조 목표(SelfCon)를 사용하여 ResNet-50 모델을 훈련시켰습니다. 이 모델은 압축 및 크기 조정과 같은 소셜 네트워크 조건에서도 최대 0.99의 AUC와 86%에서 95%의 균형 정확도를 달성하며, 기존 벤치마크에서 최첨단 성능과 높은 추론 속도를 보여줍니다. 우리의 데이터와 코드는 https://github.com/delyan-boychev/imaginet에서 확인할 수 있습니다.

English

Generative models, such as diffusion models (DMs), variational autoencoders (VAEs), and generative adversarial networks (GANs), produce images with a level of authenticity that makes them nearly indistinguishable from real photos and artwork. While this capability is beneficial for many industries, the difficulty of identifying synthetic images leaves online media platforms vulnerable to impersonation and misinformation attempts. To support the development of defensive methods, we introduce ImagiNet, a high-resolution and balanced dataset for synthetic image detection, designed to mitigate potential biases in existing resources. It contains 200K examples, spanning four content categories: photos, paintings, faces, and uncategorized. Synthetic images are produced with open-source and proprietary generators, whereas real counterparts of the same content type are collected from public datasets. The structure of ImagiNet allows for a two-track evaluation system: i) classification as real or synthetic and ii) identification of the generative model. To establish a baseline, we train a ResNet-50 model using a self-supervised contrastive objective (SelfCon) for each track. The model demonstrates state-of-the-art performance and high inference speed across established benchmarks, achieving an AUC of up to 0.99 and balanced accuracy ranging from 86% to 95%, even under social network conditions that involve compression and resizing. Our data and code are available at https://github.com/delyan-boychev/imaginet.