MiRAGeNews: Rilevamento di notizie generate da intelligenza artificiale realistiche multimodali

MiRAGeNews: Multimodal Realistic AI-Generated News Detection

October 11, 2024

Autori: Runsheng Huang, Liam Dugan, Yue Yang, Chris Callison-Burch

cs.AI

Abstract

La proliferazione di contenuti "fake" inflazionistici o fuorvianti è diventata sempre più comune negli ultimi anni. Allo stesso tempo, è diventato più facile che mai utilizzare strumenti di intelligenza artificiale per generare immagini fotorealistiche raffiguranti qualsiasi scena immaginabile. Combinare questi due aspetti - i contenuti di fake news generati dall'IA - risulta particolarmente potente e pericoloso. Per contrastare la diffusione di fake news generate dall'IA, proponiamo il MiRAGeNews Dataset, un dataset di 12.500 coppie immagine-didascalia reali e generate dall'IA di alta qualità provenienti da generatori all'avanguardia. Abbiamo constatato che il nostro dataset rappresenta una sfida significativa per gli esseri umani (60% F-1) e per i LLM multi-modalità all'avanguardia (<24% F-1). Utilizzando il nostro dataset, addestriamo un rilevatore multi-modalità (MiRAGe) che migliora di +5,1% F-1 rispetto ai baselines all'avanguardia sulle coppie immagine-didascalia provenienti da generatori di immagini e editori di notizie fuori dominio. Rilasciamo il nostro codice e i dati per aiutare il lavoro futuro sulla rilevazione di contenuti generati dall'IA.

English

The proliferation of inflammatory or misleading "fake" news content has become increasingly common in recent years. Simultaneously, it has become easier than ever to use AI tools to generate photorealistic images depicting any scene imaginable. Combining these two -- AI-generated fake news content -- is particularly potent and dangerous. To combat the spread of AI-generated fake news, we propose the MiRAGeNews Dataset, a dataset of 12,500 high-quality real and AI-generated image-caption pairs from state-of-the-art generators. We find that our dataset poses a significant challenge to humans (60% F-1) and state-of-the-art multi-modal LLMs (< 24% F-1). Using our dataset we train a multi-modal detector (MiRAGe) that improves by +5.1% F-1 over state-of-the-art baselines on image-caption pairs from out-of-domain image generators and news publishers. We release our code and data to aid future work on detecting AI-generated content.