Detectie van besmetting voor VLMs met behulp van multi-modale semantische perturbatie

Contamination Detection for VLMs using Multi-Modal Semantic Perturbation

November 5, 2025

Auteurs: Jaden Park, Mu Cai, Feng Yao, Jingbo Shang, Soochahn Lee, Yong Jae Lee

cs.AI

Samenvatting

Recente vooruitgang in Vision-Language Models (VLMs) heeft state-of-the-art prestaties bereikt op tal van benchmarktaken. Het gebruik van internet-schaal, vaak propriëtaire, voor-trainingscorpora roept echter een kritieke zorg op voor zowel praktijkmensen als gebruikers: opgeblazen prestaties als gevolg van testset-lekkage. Hoewel eerdere werken mitigatiestrategieën hebben voorgesteld, zoals decontaminatie van voor-trainingsdata en benchmarkherontwerp voor LLMs, blijft de complementaire richting van het ontwikkelen van detectiemethoden voor gecontamineerde VLMs onderbelicht. Om dit hiaat aan te pakken, contamineren we opzettelijk open-source VLMs op populaire benchmarks en tonen we aan dat bestaande detectiebenaderingen ofwel volledig falen of inconsistente gedragingen vertonen. Vervolgens stellen we een nieuwe, eenvoudige maar effectieve detectiemethode voor op basis van multi-modale semantische perturbatie, waarbij we aantonen dat gecontamineerde modellen er niet in slagen te generaliseren onder gecontroleerde perturbaties. Ten slotte valideren we onze aanpak over meerdere realistische contaminatiestrategieën, wat de robuustheid en effectiviteit ervan bevestigt. De code en de verstoorde dataset zullen openbaar worden vrijgegeven.

English

Recent advances in Vision-Language Models (VLMs) have achieved state-of-the-art performance on numerous benchmark tasks. However, the use of internet-scale, often proprietary, pretraining corpora raises a critical concern for both practitioners and users: inflated performance due to test-set leakage. While prior works have proposed mitigation strategies such as decontamination of pretraining data and benchmark redesign for LLMs, the complementary direction of developing detection methods for contaminated VLMs remains underexplored. To address this gap, we deliberately contaminate open-source VLMs on popular benchmarks and show that existing detection approaches either fail outright or exhibit inconsistent behavior. We then propose a novel simple yet effective detection method based on multi-modal semantic perturbation, demonstrating that contaminated models fail to generalize under controlled perturbations. Finally, we validate our approach across multiple realistic contamination strategies, confirming its robustness and effectiveness. The code and perturbed dataset will be released publicly.