Visuele Counter Turing Test (VCT^2): Het Ontdekken van de Uitdagingen voor AI-gegenereerde Beeldherkenning en de Introductie van de Visuele AI-index (V_AI)

Visual Counter Turing Test (VCT^2): Discovering the Challenges for AI-Generated Image Detection and Introducing Visual AI Index (V_AI)

November 24, 2024

Auteurs: Nasrin Imanpour, Shashwat Bajpai, Subhankar Ghosh, Sainath Reddy Sankepally, Abhilekh Borah, Hasnat Md Abdullah, Nishoak Kosaraju, Shreyas Dixit, Ashhar Aziz, Shwetangshu Biswas, Vinija Jain, Aman Chadha, Amit Sheth, Amitava Das

cs.AI

Samenvatting

De proliferatie van AI-technieken voor beeldgeneratie, in combinatie met hun toenemende toegankelijkheid, heeft aanzienlijke zorgen doen rijzen over het potentiële misbruik van deze beelden om desinformatie te verspreiden. Recente AI-gegenereerde beeld detectie (AGBD) methoden omvatten CNNDetectie, NPR, DM Beeld Detectie, Nep Beeld Detectie, DIRE, LASTED, GAN Beeld Detectie, AIDE, SSP, DRCT, RINE, OCC-CLIP, De-Fake, en Deep Fake Detectie. We betogen echter dat de huidige state-of-the-art AGBD technieken ontoereikend zijn voor het effectief detecteren van hedendaagse AI-gegenereerde beelden en pleiten voor een grondige herziening van deze methoden. We introduceren de Visuele Tegenturingtest (VCT^2), een benchmark bestaande uit ~130K beelden gegenereerd door hedendaagse tekst-naar-beeld modellen (Stable Diffusion 2.1, Stable Diffusion XL, Stable Diffusion 3, DALL-E 3, en Midjourney 6). VCT^2 omvat twee sets van prompts afkomstig van tweets van het New York Times Twitter account en bijschriften van de MS COCO dataset. We evalueren ook de prestaties van de eerder genoemde AGBD technieken op de VCT^2 benchmark, waarbij we hun ineffectiviteit in het detecteren van AI-gegenereerde beelden benadrukken. Aangezien beeld-genererende AI modellen blijven evolueren, wordt de behoefte aan een kwantificeerbaar kader om deze modellen te evalueren steeds kritischer. Om aan deze behoefte te voldoen, stellen we de Visuele AI Index (V_AI) voor, die gegenereerde beelden beoordeelt vanuit verschillende visuele perspectieven, waaronder textuurcomplexiteit en objectcoherentie, en zo een nieuwe standaard stelt voor het evalueren van beeld-genererende AI modellen. Om onderzoek op dit gebied te bevorderen, stellen we onze https://huggingface.co/datasets/anonymous1233/COCO_AI en https://huggingface.co/datasets/anonymous1233/twitter_AI datasets openbaar beschikbaar.

English

The proliferation of AI techniques for image generation, coupled with their increasing accessibility, has raised significant concerns about the potential misuse of these images to spread misinformation. Recent AI-generated image detection (AGID) methods include CNNDetection, NPR, DM Image Detection, Fake Image Detection, DIRE, LASTED, GAN Image Detection, AIDE, SSP, DRCT, RINE, OCC-CLIP, De-Fake, and Deep Fake Detection. However, we argue that the current state-of-the-art AGID techniques are inadequate for effectively detecting contemporary AI-generated images and advocate for a comprehensive reevaluation of these methods. We introduce the Visual Counter Turing Test (VCT^2), a benchmark comprising ~130K images generated by contemporary text-to-image models (Stable Diffusion 2.1, Stable Diffusion XL, Stable Diffusion 3, DALL-E 3, and Midjourney 6). VCT^2 includes two sets of prompts sourced from tweets by the New York Times Twitter account and captions from the MS COCO dataset. We also evaluate the performance of the aforementioned AGID techniques on the VCT^2 benchmark, highlighting their ineffectiveness in detecting AI-generated images. As image-generative AI models continue to evolve, the need for a quantifiable framework to evaluate these models becomes increasingly critical. To meet this need, we propose the Visual AI Index (V_AI), which assesses generated images from various visual perspectives, including texture complexity and object coherence, setting a new standard for evaluating image-generative AI models. To foster research in this domain, we make our https://huggingface.co/datasets/anonymous1233/COCO_AI and https://huggingface.co/datasets/anonymous1233/twitter_AI datasets publicly available.