CLIPとDINOの活用：汎化可能なディープフェイク画像検出のための不確実性を考慮したカスケード融合ネットワーク

要旨

改変・生成された顔画像のリアリズムとアクセスの容易さが高まるにつれ、デジタルメディアの信頼性が脅かされている。このような偽造を検出するために、視覚基盤モデルに基づくディープフェイク検出器は有望な性能を示しているが、それらは通常、単一の事前学習済み表現に依存しており、特定の学習分布に過適合しやすい。未知の偽造への汎化性能を向上させるため、我々はUCF-Netを提案する。これは、CLIPの言語整合型意味事前分布とDINOの自己教師あり視覚構造事前分布を活用する、不確実性を考慮したカスケード融合ネットワークである。UCF-NetはTransformerの深さ方向にわたる階層的特徴を抽出し、層ごとのエキスパート集約によって各エンコーダの多段階の手がかりを適応的に統合し、得られた表現をエントロピー由来の不確実性に基づいて重み付き融合する。さらに、公開ディープフェイクデータセットを約400万枚の画像からなる統合ベンチマークに統合し、8つの最近の生成器による8,000枚超の顔画像からなる別個のクロス生成器評価セットを構築する。統合ベンチマーク上で、UCF-Netは評価対象手法の中でドメイン内およびクロスドメイン評価の両方において最良の平均AUCを達成する。クロス生成器セット上では、限られたターゲットドメインデータで効果的に適応するが、ゼロショット転移は依然として困難である。

English

The growing realism and accessibility of manipulated and generated faces threaten the trustworthiness of digital media. To detect such forgeries, deepfake detectors based on vision foundation models have shown promising performance, but they typically rely on a single pretrained representation and are prone to overfitting to particular training distributions. To improve generalization to unseen forgeries, we propose UCF-Net, an uncertainty-aware cascaded fusion network that harnesses CLIP's language-aligned semantic priors and DINO's self-supervised visual-structure priors. UCF-Net extracts hierarchical features across Transformer depths, uses layer-wise expert aggregation to adaptively combine each encoder's multi-level cues, and performs weighted fusion of the resulting representations based on entropy-derived uncertainty. We further consolidate public deepfake datasets into a unified benchmark of approximately 4M images and construct a separate cross-generator evaluation set with over 8K face images from eight recent generators. On the unified benchmark, UCF-Net achieves the best mean AUC among the evaluated methods in both in-domain and cross-domain evaluations. On the cross-generator set, it adapts effectively with limited target-domain data, although zero-shot transfer remains challenging.