DeMamba: AI-gegenereerde videodetectie op de miljoen-schaal GenVideo-benchmark

DeMamba: AI-Generated Video Detection on Million-Scale GenVideo Benchmark

May 30, 2024

Auteurs: Haoxing Chen, Yan Hong, Zizheng Huang, Zhuoer Xu, Zhangxuan Gu, Yaohui Li, Jun Lan, Huijia Zhu, Jianfu Zhang, Weiqiang Wang, Huaxiong Li

cs.AI

Samenvatting

Onlangs hebben videogeneratietechnieken een snelle vooruitgang geboekt. Gezien de populariteit van video-inhoud op sociale mediaplatforms, versterken deze modellen de zorgen over de verspreiding van valse informatie. Daarom is er een groeiende vraag naar detectoren die in staat zijn om nep AI-gegenereerde video's te onderscheiden en de potentiële schade veroorzaakt door valse informatie te beperken. Het ontbreken van grootschalige datasets van de meest geavanceerde videogeneratoren vormt echter een belemmering voor de ontwikkeling van dergelijke detectoren. Om dit gat te dichten, introduceren we de eerste AI-gegenereerde videodetectiedataset, GenVideo. Deze heeft de volgende kenmerken: (1) een groot volume aan video's, waaronder meer dan een miljoen AI-gegenereerde en echte video's die zijn verzameld; (2) een rijke diversiteit aan gegenereerde inhoud en methodologieën, die een breed spectrum aan videocategorieën en generatietechnieken bestrijken. We hebben uitgebreide studies van de dataset uitgevoerd en twee evaluatiemethoden voorgesteld die zijn afgestemd op realistische scenario's om de prestaties van detectoren te beoordelen: de cross-generator videoclassificatietaak beoordeelt de generaliseerbaarheid van getrainde detectoren op generatoren; de gedegradeerde videoclassificatietaak evalueert de robuustheid van detectoren om video's te verwerken die in kwaliteit zijn verslechterd tijdens de verspreiding. Bovendien hebben we een plug-and-play module geïntroduceerd, genaamd Detail Mamba (DeMamba), die is ontworpen om de detectoren te verbeteren door AI-gegenereerde video's te identificeren via de analyse van inconsistenties in temporele en ruimtelijke dimensies. Onze uitgebreide experimenten tonen de superieure generaliseerbaarheid en robuustheid van DeMamba op GenVideo aan in vergelijking met bestaande detectoren. We geloven dat de GenVideo-dataset en de DeMamba-module het veld van AI-gegenereerde videodetectie aanzienlijk zullen bevorderen. Onze code en dataset zullen beschikbaar zijn op https://github.com/chenhaoxing/DeMamba.

English

Recently, video generation techniques have advanced rapidly. Given the popularity of video content on social media platforms, these models intensify concerns about the spread of fake information. Therefore, there is a growing demand for detectors capable of distinguishing between fake AI-generated videos and mitigating the potential harm caused by fake information. However, the lack of large-scale datasets from the most advanced video generators poses a barrier to the development of such detectors. To address this gap, we introduce the first AI-generated video detection dataset, GenVideo. It features the following characteristics: (1) a large volume of videos, including over one million AI-generated and real videos collected; (2) a rich diversity of generated content and methodologies, covering a broad spectrum of video categories and generation techniques. We conducted extensive studies of the dataset and proposed two evaluation methods tailored for real-world-like scenarios to assess the detectors' performance: the cross-generator video classification task assesses the generalizability of trained detectors on generators; the degraded video classification task evaluates the robustness of detectors to handle videos that have degraded in quality during dissemination. Moreover, we introduced a plug-and-play module, named Detail Mamba (DeMamba), designed to enhance the detectors by identifying AI-generated videos through the analysis of inconsistencies in temporal and spatial dimensions. Our extensive experiments demonstrate DeMamba's superior generalizability and robustness on GenVideo compared to existing detectors. We believe that the GenVideo dataset and the DeMamba module will significantly advance the field of AI-generated video detection. Our code and dataset will be aviliable at https://github.com/chenhaoxing/DeMamba.