DeMamba: Обнаружение видео, созданных ИИ, на миллионном уровне GenVideo Benchmark.

DeMamba: AI-Generated Video Detection on Million-Scale GenVideo Benchmark

May 30, 2024

Авторы: Haoxing Chen, Yan Hong, Zizheng Huang, Zhuoer Xu, Zhangxuan Gu, Yaohui Li, Jun Lan, Huijia Zhu, Jianfu Zhang, Weiqiang Wang, Huaxiong Li

cs.AI

Аннотация

В последнее время техники генерации видео стремительно развиваются. Учитывая популярность видеоконтента на платформах социальных сетей, эти модели усиливают опасения относительно распространения ложной информации. Поэтому возрастает спрос на детекторы, способные отличать ложные видео, созданные с использованием искусственного интеллекта, и смягчать потенциальный вред, причиняемый ложной информацией. Однако отсутствие крупномасштабных наборов данных от самых передовых генераторов видео ставит препятствие перед разработкой таких детекторов. Для решения этой проблемы мы представляем первый набор данных для обнаружения AI-сгенерированных видео, GenVideo. Он обладает следующими характеристиками: (1) большой объем видео, включая более миллиона AI-сгенерированных и реальных видео; (2) богатое разнообразие созданного контента и методологий, охватывающее широкий спектр категорий видео и техник генерации. Мы провели обширные исследования набора данных и предложили два метода оценки, адаптированных для сценариев, близких к реальным, для оценки производительности детекторов: задача классификации видео между генераторами оценивает обобщаемость обученных детекторов на генераторах; задача классификации видео с ухудшенным качеством оценивает устойчивость детекторов к обработке видео, качество которых ухудшилось во время распространения. Более того, мы представили модуль "Подробный Мамба" (DeMamba), разработанный для улучшения детекторов путем идентификации AI-сгенерированных видео путем анализа несоответствий во временных и пространственных измерениях. Наши обширные эксперименты демонстрируют превосходную обобщаемость и устойчивость DeMamba на наборе данных GenVideo по сравнению с существующими детекторами. Мы уверены, что набор данных GenVideo и модуль DeMamba значительно продвинут область обнаружения AI-сгенерированных видео. Наш код и набор данных будут доступны по адресу https://github.com/chenhaoxing/DeMamba.

English

Recently, video generation techniques have advanced rapidly. Given the popularity of video content on social media platforms, these models intensify concerns about the spread of fake information. Therefore, there is a growing demand for detectors capable of distinguishing between fake AI-generated videos and mitigating the potential harm caused by fake information. However, the lack of large-scale datasets from the most advanced video generators poses a barrier to the development of such detectors. To address this gap, we introduce the first AI-generated video detection dataset, GenVideo. It features the following characteristics: (1) a large volume of videos, including over one million AI-generated and real videos collected; (2) a rich diversity of generated content and methodologies, covering a broad spectrum of video categories and generation techniques. We conducted extensive studies of the dataset and proposed two evaluation methods tailored for real-world-like scenarios to assess the detectors' performance: the cross-generator video classification task assesses the generalizability of trained detectors on generators; the degraded video classification task evaluates the robustness of detectors to handle videos that have degraded in quality during dissemination. Moreover, we introduced a plug-and-play module, named Detail Mamba (DeMamba), designed to enhance the detectors by identifying AI-generated videos through the analysis of inconsistencies in temporal and spatial dimensions. Our extensive experiments demonstrate DeMamba's superior generalizability and robustness on GenVideo compared to existing detectors. We believe that the GenVideo dataset and the DeMamba module will significantly advance the field of AI-generated video detection. Our code and dataset will be aviliable at https://github.com/chenhaoxing/DeMamba.