Визуальный контрольный тест Тьюринга (VCT^2): выявление вызовов для обнаружения изображений, созданных искусственным интеллектом, и введение индекса визуального искусственного интеллекта (V_AI)

Visual Counter Turing Test (VCT^2): Discovering the Challenges for AI-Generated Image Detection and Introducing Visual AI Index (V_AI)

November 24, 2024

Авторы: Nasrin Imanpour, Shashwat Bajpai, Subhankar Ghosh, Sainath Reddy Sankepally, Abhilekh Borah, Hasnat Md Abdullah, Nishoak Kosaraju, Shreyas Dixit, Ashhar Aziz, Shwetangshu Biswas, Vinija Jain, Aman Chadha, Amit Sheth, Amitava Das

cs.AI

Аннотация

Распространение методов искусственного интеллекта для генерации изображений, совмещенное с их все более широким доступом, вызвало значительные опасения относительно потенциального злоупотребления этими изображениями для распространения дезинформации. Недавние методы обнаружения изображений, сгенерированных искусственным интеллектом (AGID), включают CNNDetection, NPR, DM Image Detection, Fake Image Detection, DIRE, LASTED, GAN Image Detection, AIDE, SSP, DRCT, RINE, OCC-CLIP, De-Fake и Deep Fake Detection. Однако мы считаем, что существующие передовые техники AGID недостаточны для эффективного обнаружения современных изображений, созданных искусственным интеллектом, и выступаем за всестороннюю переоценку этих методов. Мы представляем Визуальный контрольный тест Тьюринга (VCT^2), бенчмарк, включающий ~130 тыс. изображений, созданных современными моделями текст-в-изображение (Stable Diffusion 2.1, Stable Diffusion XL, Stable Diffusion 3, DALL-E 3 и Midjourney 6). VCT^2 включает два набора запросов, взятых из твитов аккаунта New York Times в Twitter и подписей из набора данных MS COCO. Мы также оцениваем производительность упомянутых выше методов AGID на бенчмарке VCT^2, подчеркивая их неэффективность в обнаружении изображений, созданных искусственным интеллектом. Поскольку модели искусственного интеллекта, создающие изображения, продолжают развиваться, становится все более критической необходимость в количественной системе оценки этих моделей. Для удовлетворения этой потребности мы предлагаем Визуальный индекс искусственного интеллекта (V_AI), который оценивает созданные изображения с различных визуальных точек зрения, включая сложность текстуры и согласованность объектов, устанавливая новый стандарт для оценки моделей искусственного интеллекта, создающих изображения. Для содействия исследованиям в этой области мы делаем наши наборы данных COCO_AI и twitter_AI, доступные публично по ссылкам https://huggingface.co/datasets/anonymous1233/COCO_AI и https://huggingface.co/datasets/anonymous1233/twitter_AI.

English

The proliferation of AI techniques for image generation, coupled with their increasing accessibility, has raised significant concerns about the potential misuse of these images to spread misinformation. Recent AI-generated image detection (AGID) methods include CNNDetection, NPR, DM Image Detection, Fake Image Detection, DIRE, LASTED, GAN Image Detection, AIDE, SSP, DRCT, RINE, OCC-CLIP, De-Fake, and Deep Fake Detection. However, we argue that the current state-of-the-art AGID techniques are inadequate for effectively detecting contemporary AI-generated images and advocate for a comprehensive reevaluation of these methods. We introduce the Visual Counter Turing Test (VCT^2), a benchmark comprising ~130K images generated by contemporary text-to-image models (Stable Diffusion 2.1, Stable Diffusion XL, Stable Diffusion 3, DALL-E 3, and Midjourney 6). VCT^2 includes two sets of prompts sourced from tweets by the New York Times Twitter account and captions from the MS COCO dataset. We also evaluate the performance of the aforementioned AGID techniques on the VCT^2 benchmark, highlighting their ineffectiveness in detecting AI-generated images. As image-generative AI models continue to evolve, the need for a quantifiable framework to evaluate these models becomes increasingly critical. To meet this need, we propose the Visual AI Index (V_AI), which assesses generated images from various visual perspectives, including texture complexity and object coherence, setting a new standard for evaluating image-generative AI models. To foster research in this domain, we make our https://huggingface.co/datasets/anonymous1233/COCO_AI and https://huggingface.co/datasets/anonymous1233/twitter_AI datasets publicly available.