ビジュアル・カウンター・チューリング・テスト（VCT^2）：AI生成画像検出の課題の発見とビジュアルAI指標（V_AI）の導入

Visual Counter Turing Test (VCT^2): Discovering the Challenges for AI-Generated Image Detection and Introducing Visual AI Index (V_AI)

November 24, 2024

著者: Nasrin Imanpour, Shashwat Bajpai, Subhankar Ghosh, Sainath Reddy Sankepally, Abhilekh Borah, Hasnat Md Abdullah, Nishoak Kosaraju, Shreyas Dixit, Ashhar Aziz, Shwetangshu Biswas, Vinija Jain, Aman Chadha, Amit Sheth, Amitava Das

cs.AI

要旨

画像生成のためのAI技術の普及と、それらの利用がますます容易になっていることから、これらの画像を利用して誤情報を拡散させる可能性について重大な懸念が生じています。最近のAI生成画像検出（AGID）手法には、CNNDetection、NPR、DM Image Detection、Fake Image Detection、DIRE、LASTED、GAN Image Detection、AIDE、SSP、DRCT、RINE、OCC-CLIP、De-Fake、Deep Fake Detectionなどが含まれます。しかし、現在の最先端のAGID技術は、現代のAI生成画像を効果的に検出するには不十分であると主張し、これらの方法の包括的な再評価を提唱しています。私たちは、現代のテキストから画像へのモデル（Stable Diffusion 2.1、Stable Diffusion XL、Stable Diffusion 3、DALL-E 3、Midjourney 6）によって生成された約130,000枚の画像からなるベンチマークであるVisual Counter Turing Test（VCT^2）を導入します。VCT^2には、New York TimesのTwitterアカウントからのツイートとMS COCOデータセットからのキャプションを元にした2つのプロンプトが含まれています。また、上記のAGID技術の性能をVCT^2ベンチマークで評価し、AI生成画像の検出におけるその無力さを強調します。画像生成AIモデルが進化し続ける中、これらのモデルを評価するための数量的なフレームワークの必要性がますます重要になっています。このニーズに応えるために、画像生成AIモデルを評価する新基準を設定する、テクスチャの複雑さやオブジェクトの整合性など、さまざまな視覚的観点から生成された画像を評価するVisual AI Index（V_AI）を提案します。この分野の研究を促進するために、私たちはhttps://huggingface.co/datasets/anonymous1233/COCO_AIとhttps://huggingface.co/datasets/anonymous1233/twitter_AIのデータセットを一般に公開します。

English

The proliferation of AI techniques for image generation, coupled with their increasing accessibility, has raised significant concerns about the potential misuse of these images to spread misinformation. Recent AI-generated image detection (AGID) methods include CNNDetection, NPR, DM Image Detection, Fake Image Detection, DIRE, LASTED, GAN Image Detection, AIDE, SSP, DRCT, RINE, OCC-CLIP, De-Fake, and Deep Fake Detection. However, we argue that the current state-of-the-art AGID techniques are inadequate for effectively detecting contemporary AI-generated images and advocate for a comprehensive reevaluation of these methods. We introduce the Visual Counter Turing Test (VCT^2), a benchmark comprising ~130K images generated by contemporary text-to-image models (Stable Diffusion 2.1, Stable Diffusion XL, Stable Diffusion 3, DALL-E 3, and Midjourney 6). VCT^2 includes two sets of prompts sourced from tweets by the New York Times Twitter account and captions from the MS COCO dataset. We also evaluate the performance of the aforementioned AGID techniques on the VCT^2 benchmark, highlighting their ineffectiveness in detecting AI-generated images. As image-generative AI models continue to evolve, the need for a quantifiable framework to evaluate these models becomes increasingly critical. To meet this need, we propose the Visual AI Index (V_AI), which assesses generated images from various visual perspectives, including texture complexity and object coherence, setting a new standard for evaluating image-generative AI models. To foster research in this domain, we make our https://huggingface.co/datasets/anonymous1233/COCO_AI and https://huggingface.co/datasets/anonymous1233/twitter_AI datasets publicly available.