Kontaminationserkennung für VLMs mittels multimodaler semantischer Störungen

Contamination Detection for VLMs using Multi-Modal Semantic Perturbation

November 5, 2025

papers.authors: Jaden Park, Mu Cai, Feng Yao, Jingbo Shang, Soochahn Lee, Yong Jae Lee

cs.AI

papers.abstract

Jüngste Fortschritte bei Vision-Language-Modellen (VLMs) haben state-of-the-art Leistungen in zahlreichen Benchmark-Aufgaben erzielt. Die Verwendung von internetgroßen, oft proprietären Vortrainingskorpora wirft jedoch ein kritisches Problem für Praktiker und Nutzer auf: eine inflationäre Leistungsbewertung aufgrund von Testdaten-Leakage. Während frühere Arbeiten Gegenmaßnahmen wie die Dekontamination von Vortrainingsdaten und Benchmark-Redesign für LLMs vorgeschlagen haben, bleibt die komplementäre Richtung der Entwicklung von Detektionsmethoden für kontaminierte VLMs untererforscht. Um diese Lücke zu schließen, kontaminieren wir gezielt Open-Source-VLMs mit gängigen Benchmarks und zeigen, dass bestehende Detektionsansätze entweder vollständig versagen oder inkonsistentes Verhalten aufweisen. Anschließend schlagen wir eine neuartige, einfache aber effektive Detektionsmethode auf Basis multimodaler semantischer Perturbation vor und demonstrieren, dass kontaminierte Modelle unter kontrollierten Störungen nicht generalisieren können. Abschließend validieren wir unseren Ansatz mit mehreren realistischen Kontaminationsstrategien und bestätigen seine Robustheit und Wirksamkeit. Der Code und der perturbierte Datensatz werden öffentlich zugänglich gemacht.

English

Recent advances in Vision-Language Models (VLMs) have achieved state-of-the-art performance on numerous benchmark tasks. However, the use of internet-scale, often proprietary, pretraining corpora raises a critical concern for both practitioners and users: inflated performance due to test-set leakage. While prior works have proposed mitigation strategies such as decontamination of pretraining data and benchmark redesign for LLMs, the complementary direction of developing detection methods for contaminated VLMs remains underexplored. To address this gap, we deliberately contaminate open-source VLMs on popular benchmarks and show that existing detection approaches either fail outright or exhibit inconsistent behavior. We then propose a novel simple yet effective detection method based on multi-modal semantic perturbation, demonstrating that contaminated models fail to generalize under controlled perturbations. Finally, we validate our approach across multiple realistic contamination strategies, confirming its robustness and effectiveness. The code and perturbed dataset will be released publicly.