DF26: 우리는 더 이상 가짜와 진짜를 구별할 수 없다

초록

우리는 최근 텍스트-투-비디오 및 이미지-투-비디오 모델로 생성된 완전 합성 클립을 포함하는 AI 생성 비디오를 탐지하기 위한 새로운 벤치마크 DF26을 소개한다. 이 비디오들은 카메라를 직접 향한 녹화, 공식 성명, 스튜디오 인터뷰에 걸친 1인 공개 연설 시나리오를 담고 있으며, 7개의 최신 비디오 모델로 생성된 실제 271개와 합성 2,420개의 비디오로 구성된다. DF26에 대한 연구는 AI 생성 비디오를 탐지하는 인간의 성능은 물론 최첨단 딥페이크 탐지기의 성능 역시 거의 무작위 수준에 머문다는 것을 보여준다. 우리의 결과는 현재 평가 프로토콜의 한계를 부각하고 최신 생성 모델의 분포 변화에 대한 견고성을 명시적으로 측정하는 벤치마크의 필요성을 제기한다.

English

We introduce DF26, a novel benchmark for detecting AI-generated videos containing fully synthetic clips produced by recent text-to-video and image-to-video models. The videos capture single-person public-speaking scenarios, spanning direct-to-camera recordings, official statements, and studio interviews - 271 real and 2,420 synthetic videos generated by seven modern video models. The study on DF26 shows that human performance in detecting AI-generated videos, as well as state-of-the-art deepfake detectors, is close to random chance. Our results highlight the limitations of current evaluation protocols and motivate the need for benchmarks that explicitly measure robustness to modern generative model distribution shifts.