보이지 않는 지름길: 비전 인코더가 당신의 카메라를 아는 이유

초록

심층 비전 모델은 지도 신호와 상관관계를 이루는 단서에 의존하여 지름길(shortcut)을 활용한다. 기존 연구는 객체-배경 또는 질감 상관관계와 같은 가시적 편향에 초점을 맞춰 왔다. 우리는 지름길 학습의 또 다른 원천을 식별한다: 이미지 처리 및 촬영 획득과 같은 메타데이터가 픽셀 수준에 내재된 보이지 않는 메타데이터 흔적이다. 우리는 범주형 레이블(ImageNet) 또는 수십억 규모 캡션(LAION)을 통한 대규모 의미론적 지도가 사전 학습 중 자연스럽게 메타데이터-의미론 상관관계를 유도하여, 모델이 저수준 신호를 예측적 특징으로 변환하게 한다는 가설을 세운다. 통제된 메타데이터-의미론 상관관계를 도입함으로써, 상관관계가 강할수록 메타데이터 흔적에 대한 민감도가 체계적으로 높아지고 메타데이터 분포 변화 하에서 성능 저하가 더 커짐을 보인다. 또한 사전 학습 중 및 이후에 적용되는 완화 전략이 대상 메타데이터뿐만 아니라 미지의 메타데이터에 대한 민감도도 줄이면서 다운스트림 작업 성능을 희생하지 않음을 탐구한다. 메타데이터 민감도는 또한 긍정적 측면을 지닌다: 이는 일부 인코더의 강력한 생성 이미지 탐지 능력을 부분적으로 설명하며, 그 완화는 분포 외 일반화를 향상시킬 수 있다. 코드: https://github.com/ryan-caesar-ramos/visual-encoder-traces

English

Deep vision models exploit shortcuts, relying on cues that correlate with supervision signals. Prior work has focused on visible biases, such as object-background or texture correlations. We identify a different source of shortcut learning: invisible metadata traces embedded at the pixel level, for metadata such as image processing and photo acquisition. We hypothesize that large-scale semantic supervision, whether through categorical labels (ImageNet) or billion-scale captions (LAION), naturally induces metadata-semantics correlations during pretraining, leading models to convert low-level signals into predictive features. By introducing controlled metadata-semantics correlations, we show that stronger ones produce systematically higher sensitivity to metadata traces and larger performance degradation under metadata distribution shifts. We further explore mitigation strategies applied during and after pretraining that reduce sensitivity not only to targeted metadata but also to unseen ones, without sacrificing performance on downstream tasks. Metadata sensitivity also has a positive side: it partly explains the strong generated-image detection ability of some encoders, while its mitigation can improve out-of-distribution generalization. Code: https://github.com/ryan-caesar-ramos/visual-encoder-traces