不可視のショートカット：なぜビジョンエンコーダはあなたのカメラを知っているのか

要旨

深層視覚モデルは、教師信号と相関する手がかりに依存することで、ショートカットを利用する。先行研究は、物体－背景相関やテクスチャ相関などの可視的なバイアスに焦点を当ててきた。我々は、ショートカット学習の別の源泉を特定する：画像処理や撮影などのメタデータについて、ピクセルレベルに埋め込まれた不可視のメタデータ痕跡である。我々は、カテゴリラベル（ImageNet）であれ、十億規模のキャプション（LAION）であれ、大規模な意味的教師信号が事前学習中にメタデータ－セマンティクス相関を自然に誘発し、その結果モデルが低レベル信号を予測的特徴へ変換するようになると仮定する。制御されたメタデータ－セマンティクス相関を導入することにより、相関が強いほどメタデータ痕跡に対する感度が系統的に高くなり、メタデータ分布シフト下での性能低下も大きくなることを示す。さらに、事前学習中および事前学習後に適用する緩和戦略を探求する。これらの戦略は、下流タスクの性能を犠牲にすることなく、対象としたメタデータだけでなく未見のメタデータに対する感度も低減する。メタデータ感度には肯定的な側面もある：それは一部のエンコーダが持つ強力な生成画像検出能力を部分的に説明する一方、その緩和は分布外汎化を改善できる。コード：https://github.com/ryan-caesar-ramos/visual-encoder-traces

English

Deep vision models exploit shortcuts, relying on cues that correlate with supervision signals. Prior work has focused on visible biases, such as object-background or texture correlations. We identify a different source of shortcut learning: invisible metadata traces embedded at the pixel level, for metadata such as image processing and photo acquisition. We hypothesize that large-scale semantic supervision, whether through categorical labels (ImageNet) or billion-scale captions (LAION), naturally induces metadata-semantics correlations during pretraining, leading models to convert low-level signals into predictive features. By introducing controlled metadata-semantics correlations, we show that stronger ones produce systematically higher sensitivity to metadata traces and larger performance degradation under metadata distribution shifts. We further explore mitigation strategies applied during and after pretraining that reduce sensitivity not only to targeted metadata but also to unseen ones, without sacrificing performance on downstream tasks. Metadata sensitivity also has a positive side: it partly explains the strong generated-image detection ability of some encoders, while its mitigation can improve out-of-distribution generalization. Code: https://github.com/ryan-caesar-ramos/visual-encoder-traces