DF26: もはや偽物と本物を見分けることはできない

要旨

我々は、近年のテキスト-to-ビデオモデルおよび画像-to-ビデオモデルによって生成された完全に合成されたクリップを含むAI生成動画を検出するための新しいベンチマークDF26を導入する。この動画群は、カメラ目線の録画、公式声明、スタジオインタビューに及ぶ単一人物の公開スピーチ場面を捉えており、7つの現代的な動画モデルによって生成された2,420本の合成動画と271本の実動画からなる。DF26に関する研究は、AI生成動画の検出における人間の性能、および最先端のディープフェイク検出器の性能が、ランダム推測に近いことを示している。我々の結果は、現在の評価プロトコルの限界を浮き彫りにし、現代の生成モデルにおける分布シフトに対する頑健性を明示的に測定するベンチマークの必要性を示唆する。

English

We introduce DF26, a novel benchmark for detecting AI-generated videos containing fully synthetic clips produced by recent text-to-video and image-to-video models. The videos capture single-person public-speaking scenarios, spanning direct-to-camera recordings, official statements, and studio interviews - 271 real and 2,420 synthetic videos generated by seven modern video models. The study on DF26 shows that human performance in detecting AI-generated videos, as well as state-of-the-art deepfake detectors, is close to random chance. Our results highlight the limitations of current evaluation protocols and motivate the need for benchmarks that explicitly measure robustness to modern generative model distribution shifts.