Détection de contamination des VLM par perturbation sémantique multimodale

Contamination Detection for VLMs using Multi-Modal Semantic Perturbation

November 5, 2025

papers.authors: Jaden Park, Mu Cai, Feng Yao, Jingbo Shang, Soochahn Lee, Yong Jae Lee

cs.AI

papers.abstract

Les récents progrès des modèles vision-langage (VLM) ont permis d'atteindre des performances de pointe sur de nombreuses tâches de référence. Cependant, l'utilisation de corpus d'apprentissage préalable à l'échelle d'Internet, souvent propriétaires, soulève une préoccupation majeure pour les praticiens et les utilisateurs : une performance gonflée due à la fuite des données de test. Si des travaux antérieurs ont proposé des stratégies d'atténuation telles que la décontamination des données d'apprentissage préalable et la refonte des benchmarks pour les LLM, la direction complémentaire du développement de méthodes de détection pour les VLM contaminés reste peu explorée. Pour combler cette lacune, nous contaminons délibérément des VLM open-source sur des benchmarks populaires et montrons que les approches de détection existantes échouent complètement ou présentent un comportement incohérent. Nous proposons ensuite une nouvelle méthode de détection simple mais efficace basée sur une perturbation sémantique multimodale, démontrant que les modèles contaminés ne parviennent pas à généraliser sous des perturbations contrôlées. Enfin, nous validons notre approche sur plusieurs stratégies de contamination réalistes, confirmant sa robustesse et son efficacité. Le code et l'ensemble de données perturbé seront rendus publics.

English

Recent advances in Vision-Language Models (VLMs) have achieved state-of-the-art performance on numerous benchmark tasks. However, the use of internet-scale, often proprietary, pretraining corpora raises a critical concern for both practitioners and users: inflated performance due to test-set leakage. While prior works have proposed mitigation strategies such as decontamination of pretraining data and benchmark redesign for LLMs, the complementary direction of developing detection methods for contaminated VLMs remains underexplored. To address this gap, we deliberately contaminate open-source VLMs on popular benchmarks and show that existing detection approaches either fail outright or exhibit inconsistent behavior. We then propose a novel simple yet effective detection method based on multi-modal semantic perturbation, demonstrating that contaminated models fail to generalize under controlled perturbations. Finally, we validate our approach across multiple realistic contamination strategies, confirming its robustness and effectiveness. The code and perturbed dataset will be released publicly.