DeMamba: Rilevamento di Video Generati dall'IA sul Benchmark GenVideo su Scala Milionaria

DeMamba: AI-Generated Video Detection on Million-Scale GenVideo Benchmark

May 30, 2024

Autori: Haoxing Chen, Yan Hong, Zizheng Huang, Zhuoer Xu, Zhangxuan Gu, Yaohui Li, Jun Lan, Huijia Zhu, Jianfu Zhang, Weiqiang Wang, Huaxiong Li

cs.AI

Abstract

Recentemente, le tecniche di generazione video hanno fatto rapidi progressi. Data la popolarità dei contenuti video sulle piattaforme dei social media, questi modelli accentuano le preoccupazioni riguardo alla diffusione di informazioni false. Pertanto, c'è una crescente domanda di rilevatori in grado di distinguere tra video generati da IA falsi e di mitigare i potenziali danni causati da informazioni false. Tuttavia, la mancanza di dataset su larga scala provenienti dai generatori video più avanzati rappresenta un ostacolo allo sviluppo di tali rilevatori. Per colmare questa lacuna, introduciamo il primo dataset per la rilevazione di video generati da IA, GenVideo. Esso presenta le seguenti caratteristiche: (1) un ampio volume di video, inclusi oltre un milione di video generati da IA e video reali raccolti; (2) una ricca diversità di contenuti e metodologie generati, che coprono un ampio spettro di categorie video e tecniche di generazione. Abbiamo condotto studi approfonditi sul dataset e proposto due metodi di valutazione progettati per scenari simili al mondo reale per valutare le prestazioni dei rilevatori: il compito di classificazione video cross-generatore valuta la generalizzabilità dei rilevatori addestrati su diversi generatori; il compito di classificazione video degradati valuta la robustezza dei rilevatori nel gestire video che hanno subito un degrado di qualità durante la diffusione. Inoltre, abbiamo introdotto un modulo plug-and-play, denominato Detail Mamba (DeMamba), progettato per migliorare i rilevatori identificando i video generati da IA attraverso l'analisi delle incoerenze nelle dimensioni temporali e spaziali. I nostri ampi esperimenti dimostrano la superiorità di DeMamba in termini di generalizzabilità e robustezza su GenVideo rispetto ai rilevatori esistenti. Crediamo che il dataset GenVideo e il modulo DeMamba faranno avanzare significativamente il campo della rilevazione di video generati da IA. Il nostro codice e il dataset saranno disponibili su https://github.com/chenhaoxing/DeMamba.

English

Recently, video generation techniques have advanced rapidly. Given the popularity of video content on social media platforms, these models intensify concerns about the spread of fake information. Therefore, there is a growing demand for detectors capable of distinguishing between fake AI-generated videos and mitigating the potential harm caused by fake information. However, the lack of large-scale datasets from the most advanced video generators poses a barrier to the development of such detectors. To address this gap, we introduce the first AI-generated video detection dataset, GenVideo. It features the following characteristics: (1) a large volume of videos, including over one million AI-generated and real videos collected; (2) a rich diversity of generated content and methodologies, covering a broad spectrum of video categories and generation techniques. We conducted extensive studies of the dataset and proposed two evaluation methods tailored for real-world-like scenarios to assess the detectors' performance: the cross-generator video classification task assesses the generalizability of trained detectors on generators; the degraded video classification task evaluates the robustness of detectors to handle videos that have degraded in quality during dissemination. Moreover, we introduced a plug-and-play module, named Detail Mamba (DeMamba), designed to enhance the detectors by identifying AI-generated videos through the analysis of inconsistencies in temporal and spatial dimensions. Our extensive experiments demonstrate DeMamba's superior generalizability and robustness on GenVideo compared to existing detectors. We believe that the GenVideo dataset and the DeMamba module will significantly advance the field of AI-generated video detection. Our code and dataset will be aviliable at https://github.com/chenhaoxing/DeMamba.