DeMamba: KI-generierte Videodetektion auf der GenVideo-Benchmark im Millionenumfang

DeMamba: AI-Generated Video Detection on Million-Scale GenVideo Benchmark

May 30, 2024

papers.authors: Haoxing Chen, Yan Hong, Zizheng Huang, Zhuoer Xu, Zhangxuan Gu, Yaohui Li, Jun Lan, Huijia Zhu, Jianfu Zhang, Weiqiang Wang, Huaxiong Li

cs.AI

papers.abstract

In letzter Zeit haben sich die Techniken zur Videogenerierung rasant weiterentwickelt. Angesichts der Beliebtheit von Videoinhalten auf Social-Media-Plattformen verstärken diese Modelle Bedenken hinsichtlich der Verbreitung von falschen Informationen. Daher besteht eine wachsende Nachfrage nach Detektoren, die in der Lage sind, zwischen gefälschten KI-generierten Videos zu unterscheiden und die potenziellen Schäden durch falsche Informationen zu mindern. Allerdings stellt der Mangel an groß angelegten Datensätzen der fortschrittlichsten Videogeneratoren eine Hürde für die Entwicklung solcher Detektoren dar. Um diese Lücke zu schließen, stellen wir den ersten KI-generierten Videoerkennungsdatensatz, GenVideo, vor. Er zeichnet sich durch folgende Merkmale aus: (1) ein großes Volumen an Videos, darunter über eine Million KI-generierte und echte gesammelte Videos; (2) eine reiche Vielfalt an generierten Inhalten und Methoden, die ein breites Spektrum von Videokategorien und Generierungstechniken abdecken. Wir führten umfangreiche Studien des Datensatzes durch und schlugen zwei Bewertungsmethoden vor, die für Szenarien ähnlich der realen Welt entwickelt wurden, um die Leistung der Detektoren zu bewerten: Die Aufgabe der Videoklassifizierung über verschiedene Generatoren bewertet die Generalisierbarkeit der trainierten Detektoren auf Generatoren; die Aufgabe der Klassifizierung von degradierten Videos bewertet die Robustheit der Detektoren im Umgang mit Videos, die während der Verbreitung an Qualität verloren haben. Darüber hinaus haben wir ein Plug-and-Play-Modul namens Detail Mamba (DeMamba) eingeführt, das entwickelt wurde, um die Detektoren zu verbessern, indem es KI-generierte Videos durch die Analyse von Inkonsistenzen in zeitlichen und räumlichen Dimensionen identifiziert. Unsere umfangreichen Experimente zeigen die überlegene Generalisierbarkeit und Robustheit von DeMamba auf GenVideo im Vergleich zu bestehenden Detektoren. Wir sind der Überzeugung, dass der GenVideo-Datensatz und das DeMamba-Modul das Feld der KI-generierten Videoerkennung maßgeblich voranbringen werden. Unser Code und Datensatz sind unter https://github.com/chenhaoxing/DeMamba verfügbar.

English

Recently, video generation techniques have advanced rapidly. Given the popularity of video content on social media platforms, these models intensify concerns about the spread of fake information. Therefore, there is a growing demand for detectors capable of distinguishing between fake AI-generated videos and mitigating the potential harm caused by fake information. However, the lack of large-scale datasets from the most advanced video generators poses a barrier to the development of such detectors. To address this gap, we introduce the first AI-generated video detection dataset, GenVideo. It features the following characteristics: (1) a large volume of videos, including over one million AI-generated and real videos collected; (2) a rich diversity of generated content and methodologies, covering a broad spectrum of video categories and generation techniques. We conducted extensive studies of the dataset and proposed two evaluation methods tailored for real-world-like scenarios to assess the detectors' performance: the cross-generator video classification task assesses the generalizability of trained detectors on generators; the degraded video classification task evaluates the robustness of detectors to handle videos that have degraded in quality during dissemination. Moreover, we introduced a plug-and-play module, named Detail Mamba (DeMamba), designed to enhance the detectors by identifying AI-generated videos through the analysis of inconsistencies in temporal and spatial dimensions. Our extensive experiments demonstrate DeMamba's superior generalizability and robustness on GenVideo compared to existing detectors. We believe that the GenVideo dataset and the DeMamba module will significantly advance the field of AI-generated video detection. Our code and dataset will be aviliable at https://github.com/chenhaoxing/DeMamba.