DeMamba: Detección de videos generados por IA en el benchmark GenVideo de escala millonaria

DeMamba: AI-Generated Video Detection on Million-Scale GenVideo Benchmark

May 30, 2024

Autores: Haoxing Chen, Yan Hong, Zizheng Huang, Zhuoer Xu, Zhangxuan Gu, Yaohui Li, Jun Lan, Huijia Zhu, Jianfu Zhang, Weiqiang Wang, Huaxiong Li

cs.AI

Resumen

Recientemente, las técnicas de generación de videos han avanzado rápidamente. Dada la popularidad del contenido de video en las plataformas de redes sociales, estos modelos intensifican las preocupaciones sobre la propagación de información falsa. Por lo tanto, existe una creciente demanda de detectores capaces de distinguir entre videos generados por IA falsos y mitigar el daño potencial causado por la información falsa. Sin embargo, la falta de conjuntos de datos a gran escala de los generadores de video más avanzados representa una barrera para el desarrollo de dichos detectores. Para abordar esta brecha, presentamos el primer conjunto de datos de detección de videos generados por IA, GenVideo. Cuenta con las siguientes características: (1) un gran volumen de videos, incluyendo más de un millón de videos generados por IA y videos reales recopilados; (2) una rica diversidad de contenido generado y metodologías, cubriendo un amplio espectro de categorías de video y técnicas de generación. Realizamos estudios extensos del conjunto de datos y propusimos dos métodos de evaluación adaptados a escenarios similares a los del mundo real para evaluar el rendimiento de los detectores: la tarea de clasificación de videos entre generadores evalúa la generalización de los detectores entrenados en diferentes generadores; la tarea de clasificación de videos degradados evalúa la robustez de los detectores para manejar videos que han perdido calidad durante su difusión. Además, introdujimos un módulo plug-and-play, llamado Detail Mamba (DeMamba), diseñado para mejorar los detectores al identificar videos generados por IA mediante el análisis de inconsistencias en las dimensiones temporales y espaciales. Nuestros extensos experimentos demuestran la superior generalización y robustez de DeMamba en GenVideo en comparación con los detectores existentes. Creemos que el conjunto de datos GenVideo y el módulo DeMamba avanzarán significativamente el campo de la detección de videos generados por IA. Nuestro código y conjunto de datos estarán disponibles en https://github.com/chenhaoxing/DeMamba.

English

Recently, video generation techniques have advanced rapidly. Given the popularity of video content on social media platforms, these models intensify concerns about the spread of fake information. Therefore, there is a growing demand for detectors capable of distinguishing between fake AI-generated videos and mitigating the potential harm caused by fake information. However, the lack of large-scale datasets from the most advanced video generators poses a barrier to the development of such detectors. To address this gap, we introduce the first AI-generated video detection dataset, GenVideo. It features the following characteristics: (1) a large volume of videos, including over one million AI-generated and real videos collected; (2) a rich diversity of generated content and methodologies, covering a broad spectrum of video categories and generation techniques. We conducted extensive studies of the dataset and proposed two evaluation methods tailored for real-world-like scenarios to assess the detectors' performance: the cross-generator video classification task assesses the generalizability of trained detectors on generators; the degraded video classification task evaluates the robustness of detectors to handle videos that have degraded in quality during dissemination. Moreover, we introduced a plug-and-play module, named Detail Mamba (DeMamba), designed to enhance the detectors by identifying AI-generated videos through the analysis of inconsistencies in temporal and spatial dimensions. Our extensive experiments demonstrate DeMamba's superior generalizability and robustness on GenVideo compared to existing detectors. We believe that the GenVideo dataset and the DeMamba module will significantly advance the field of AI-generated video detection. Our code and dataset will be aviliable at https://github.com/chenhaoxing/DeMamba.