Visueller Zähl-Turing-Test (VCT^2): Entdecken der Herausforderungen für die KI-generierte Bilderkennung und Einführung des Visuellen KI-Index (V_AI)

Visual Counter Turing Test (VCT^2): Discovering the Challenges for AI-Generated Image Detection and Introducing Visual AI Index (V_AI)

November 24, 2024

Autoren: Nasrin Imanpour, Shashwat Bajpai, Subhankar Ghosh, Sainath Reddy Sankepally, Abhilekh Borah, Hasnat Md Abdullah, Nishoak Kosaraju, Shreyas Dixit, Ashhar Aziz, Shwetangshu Biswas, Vinija Jain, Aman Chadha, Amit Sheth, Amitava Das

cs.AI

Zusammenfassung

Die Verbreitung von KI-Techniken zur Bildgenerierung, kombiniert mit ihrer zunehmenden Zugänglichkeit, hat erhebliche Bedenken hinsichtlich des potenziellen Missbrauchs dieser Bilder zur Verbreitung von Fehlinformationen aufgeworfen. Zu den jüngsten Methoden zur Erkennung von KI-generierten Bildern (AGID) gehören CNNDetection, NPR, DM-Bilderkennung, Fake-Bilderkennung, DIRE, LASTED, GAN-Bilderkennung, AIDE, SSP, DRCT, RINE, OCC-CLIP, De-Fake und Deep Fake Detection. Wir sind jedoch der Meinung, dass die aktuellen AGID-Techniken nicht ausreichen, um zeitgenössische KI-generierte Bilder effektiv zu erkennen, und plädieren für eine umfassende Neubewertung dieser Methoden. Wir stellen den Visual Counter Turing Test (VCT^2) vor, einen Benchmark, der ~130K Bilder umfasst, die von zeitgenössischen Text-zu-Bild-Modellen generiert wurden (Stable Diffusion 2.1, Stable Diffusion XL, Stable Diffusion 3, DALL-E 3 und Midjourney 6). VCT^2 umfasst zwei Sätze von Anfragen, die von Tweets des Twitter-Kontos der New York Times und Bildunterschriften des MS COCO-Datensatzes stammen. Wir evaluieren auch die Leistung der oben genannten AGID-Techniken am VCT^2-Benchmark und heben ihre Unwirksamkeit bei der Erkennung von KI-generierten Bildern hervor. Da bildgenerierende KI-Modelle weiterhin fortschreiten, wird die Notwendigkeit eines quantifizierbaren Rahmens zur Bewertung dieser Modelle zunehmend kritisch. Um diesem Bedarf gerecht zu werden, schlagen wir den Visual AI Index (V_AI) vor, der generierte Bilder aus verschiedenen visuellen Perspektiven bewertet, einschließlich Texturkomplexität und Objektkohärenz, und damit einen neuen Maßstab für die Bewertung von bildgenerierenden KI-Modellen setzt. Um die Forschung in diesem Bereich zu fördern, stellen wir unsere COCO_AI- und Twitter_AI-Datensätze öffentlich über https://huggingface.co/datasets/anonymous1233/COCO_AI und https://huggingface.co/datasets/anonymous1233/twitter_AI zur Verfügung.

English

The proliferation of AI techniques for image generation, coupled with their increasing accessibility, has raised significant concerns about the potential misuse of these images to spread misinformation. Recent AI-generated image detection (AGID) methods include CNNDetection, NPR, DM Image Detection, Fake Image Detection, DIRE, LASTED, GAN Image Detection, AIDE, SSP, DRCT, RINE, OCC-CLIP, De-Fake, and Deep Fake Detection. However, we argue that the current state-of-the-art AGID techniques are inadequate for effectively detecting contemporary AI-generated images and advocate for a comprehensive reevaluation of these methods. We introduce the Visual Counter Turing Test (VCT^2), a benchmark comprising ~130K images generated by contemporary text-to-image models (Stable Diffusion 2.1, Stable Diffusion XL, Stable Diffusion 3, DALL-E 3, and Midjourney 6). VCT^2 includes two sets of prompts sourced from tweets by the New York Times Twitter account and captions from the MS COCO dataset. We also evaluate the performance of the aforementioned AGID techniques on the VCT^2 benchmark, highlighting their ineffectiveness in detecting AI-generated images. As image-generative AI models continue to evolve, the need for a quantifiable framework to evaluate these models becomes increasingly critical. To meet this need, we propose the Visual AI Index (V_AI), which assesses generated images from various visual perspectives, including texture complexity and object coherence, setting a new standard for evaluating image-generative AI models. To foster research in this domain, we make our https://huggingface.co/datasets/anonymous1233/COCO_AI and https://huggingface.co/datasets/anonymous1233/twitter_AI datasets publicly available.